爬虫之验证码
一:将验证码的图片保存到本地,在客户端手动输入验证码
思路:(1)就像爬取图片一样首先找到验证码所在图片的URL,发送请求,获取响应,将结果保存在本地
(2)模拟浏览器发送post,输入验证码,模拟登陆成功
注意问题:
以古诗文网为例:
(1):由于formdata 表单数据中
‘__VIEWSTATE’: ‘__VIEWSTATEGENERATOR’: 需要重新从网页源码中获取相当于模拟登陆的令牌
(2)提取到的验证码的URL不变但是他的对应的验证码却在变化,所以可能和session有关所以我们创建一个会话
在这里 import requests
from bs4 import BeautifulSoup
import urllib.request
#下载验证码到本地
headers={
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'
}
def get_code(s):
url='https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx'
response=s.get(url=url,headers=headers)
soup=BeautifulSoup(response.text,'lxml')
img_src='https://so.gushiwen.org'+soup.find('img', id="imgCode")['src']
r=s.get(img_src,headers=headers)
#print(img_src)
#下载到本地
# urllib.request.urlretrieve(img_src,filename='code.png')
with open('code.png','wb')as f:
f.write(r.content)
view=soup.find('input',id='__VIEWSTATE')['value']
views=soup.find('input',id="__VIEWSTATEGENERATOR")['value']
return view,views
def go_website(view,views,s):
url='https://so.gushiwen.org/user/login.aspx?from='
#输入验证码
code=input('请输入验证码:')
form_data={
'__VIEWSTATE':'view',
'__VIEWSTATEGENERATOR': 'views',
'from':'',
'email': '15991692199',
'pwd': 'zhangye520',
'code': 'code',
'denglu': '登录'
}
r=s.post(url=url,headers=headers,data=form_data)
#print(r.text)
with open ('gushiwen.html','w',encoding='utf-8') as f:
f.write(r.text)
def main():
#创建会话
s=requests.Session()
# 定义一个函数
view,views=get_code(s)
#登录到此网站
go_website(view,views,s)
if __name__ == "__main__":
main()
(二):利用tesseract验证码光学识别,准确率相对来说也不是很高
基本就是这个流程,首先你必须安装pillow和pytesseract这两个第三方库
#验证码光学识别
import pytesseract
from PIL import Image
from PIL import ImageEnhance
img=Image.open(‘5.png’)
# 更进一步的处理
img=img.convert(‘RGB’)
enhancer=ImageEnhance.Color(img)
enhancer=enhancer.enhance(0)
enhancer=ImageEnhance.Brightness(enhancer)
enhancer=enhancer.enhance(2)
enhancer=ImageEnhance.Contrast(enhancer)
enhancer=enhancer.enhance(8)
enhancer=ImageEnhance.Sharpness(enhancer)
enhancer=enhancer.enhance(20)
#到此结束
#转化为灰度图片
img=img.convert('L')
# img.show()
# exit()
#二值化处理
threshold=140
table=[]
for i in range(256):
if i < threshold:
table.append(0)
else:
table.append(1)
out=img.point(table,'1')
# out.show()
# img=img.convert('RGB')
# 识别图片
print(pytesseract.image_to_string(img))
(三):利用打码平台(收费)比如云打码
(1)注册普通用户,开发者用户(均注册)
以开发者用户登录进来,我的软件——》添加新软件
(2)进入开发文档——》调用示例以及最新dll——》选择10PythonHTTP实例下载