使用python爬虫爬取网络数据时,某些页面需要登录成功之后才能访问,需要携带账号、密码以及验证码发起请求,以古诗文网为例进行爬取,验证码使用打码平台超级鹰进行识别。
验证码识别
线上的打码平台进行验证码识别
云打码:http://www.yundama.com/about.html
超级鹰(使用):http://www.chaojiying.com/about.html
打码兔
超级鹰
注册:身份【用户中心】
登录:身份【用户中心】
创建一个软件:软件ID-》生成一个软件ID(899370)
下载示例代码:开发文档-》python
超级鹰提供的示例代码
#!/usr/bin/env python
# coding:utf-8
import requests
from hashlib import md5
class Chaojiying_Client(object):
def __init__(self, username, password, soft_id):
self.username = username
password = password.encode('utf8')
self.password = md5(password).hexdigest()
self.soft_id = soft_id
self.base_params = {
'user': self.username,
'pass2': self.password,
'softid': self.soft_id,
}
self.headers = {
'Connection': 'Keep-Alive',
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
}
def PostPic(self, im, codetype):
"""
im: 图片字节
codetype: 题目类型 参考 http://www.chaojiying.com/price.html
"""
params = {
'codetype': codetype,
}
params.update(self.base_params)
files = {
'userfile': ('ccc.jpg', im)}
r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
return r.json()
def ReportError(self, im_id):
"""
im_id:报错题目的图片ID
"""
params = {
'id': im_id,
}
params