python爬虫之图形验证码学习
1. Tesseract介绍
有时候我们在登录或者请求一些数据时候会遇到图形验证码。因此我们引入一种能将图片翻译成文字的技术。将图片翻译成文字一般被称为光学文字识别(Optical Character Recognition),简写为OCR。
实现OCR的库不是很多,特别是开源的。因为这块存在一定的技术壁垒(需要大量的数据、算法、机器学习、深度学习知识等),并且如果做好了具有很高的商业价值。因此开源的比较少。
这里就介绍一个图形识别开源库Tesseract。Tesseract是⼀个将图像翻译成文字的OCR(光学文字识别,Optical Character Recognition),目前由谷歌赞助。Tesseract是目前公认最优秀、最准确的开源OCR库。Tesseract具有很高的识别度,也具有很高的灵活性,他可以通过训练识别任何字体。
2. Tesseract安装
Windows系统安装可以在以下链接下载可执行文件:
https://github.com/tesseract-ocr/
安装步骤分为:
(1)在Python中调用Tesseract:
pip install pytesseract
(2)安装可执行文件,设置环境变量
安装完成后,如果想要在命令行中使用Tesseract,那么应该设置环境变量。Mac和Linux在安装的时候就默认已经设置好了。在Windows 下把tesseract.exe所在的路径添加到PATH环境变量中。还有一个环境变量需要设置的是,要把训练的数据文件路径也放到环境变量中。在环境变量中, 添加一个
TESSDATA_PREFIX=D:\Tesseract-OCR\tessdata
进⼊cmd输⼊下面的命令查看版本,正常运行则安装成功
tesseract --version
识别的语言只有两种语言,若要识别中文语言,需要下载语言安装包
URL地址:https://github.com/tesseract-ocr/tessdat
3. Tesseract使用
案例1
import pytesseract
from PIL import Image # Pillow 图像处理库 2011年
# 指定tesseract驱动的路径和数据包的路径
pytesseract.pytesseract.tesseract_cmd = r"D:\Tesseract\Tesseract-OCR\tesseract.exe"
tessdata_dir_config = r'--tessdata-dir "D:\Tesseract\Tesseract-OCR\tessdata"'
# 打开图片
image = Image.open('demo.jpg')
# 识别的结果 第一个参数是图片 第二个参数是语言 第三个参数是 配置
result = pytesseract.image_to_string(image, lang='eng', config=tessdata_dir_config)
result_strip = result.replace(' ','')
print(result,'\n',result_strip,)
# 7 3 6 4
# 7364
案例2
import pytesseract
from PIL import Image
from urllib import request
import time
# 指定tesseract驱动的路径和数据包的路径
pytesseract.pytesseract.tesseract_cmd = r"D:\Tesseract\Tesseract-OCR\tesseract.exe"
tessdata_dir_config = r'--tessdata-dir "D:\Tesseract\Tesseract-OCR\tessdata"'
# 识别验证码图片
while True:
# 获取图片验证码的地址
url = 'https://passport.lagou.com/vcode/create?from=register&refresh=1513081451891'
# 第一个参数目标url 第二个参数 文件名/保存的路径
request.urlretrieve(url,'captcha.png')
# 打开图片
image = Image.open('captcha.png')
# 结果
result = pytesseract.image_to_string(image, lang='eng', config=tessdata_dir_config)
print(result.replace(' ',''))
time.sleep(2)
4. 打码云平台
在这里简单介绍一个识别验证码的平台,需要花费去帮忙识别验证码,但是价格相对较便宜。有需要的可以去看看
http://www.ttshitu.com/
网址如上,操作的python代码如下
import json
import requests
import base64
from io import BytesIO
from PIL import Image
from sys import version_info
def base64_api(uname, pwd, img):
img = img.convert('RGB')
buffered = BytesIO()
img.save(buffered, format="JPEG")
if version_info.major >= 3:
b64 = str(base64.b64encode(buffered.getvalue()), encoding='utf-8')
else:
b64 = str(base64.b64encode(buffered.getvalue()))
data = {"username": uname, "password": pwd, "image": b64}
result = json.loads(requests.post("http://api.ttshitu.com/base64", json=data).text)
if result['success']:
return result["data"]["result"]
else:
return result["message"]
return ""
if __name__ == "__main__":
img_path = "C:/Users/Administrator/Desktop/file.jpg" # 图片路径位置
img = Image.open('captcha.png') # 图片名字
result = base64_api(uname='123', pwd='123', img=img) # uname 是用户名字 pwd 是用户登陆密码
print(result)