利用各大企业提供的接口实现爬虫遇到的验证码问题

背景：

对于我们爬虫模拟登录时候，经常需要处理验证码的问题，对于验证码新手常常会遇到这样的困惑，对于一些接口 url 的参数又是需要的是验证码信息，而又不能手动进行添加【因为验证码是随机的】，这样最终限制在只能在程序中进行处理。

因此对于上面的问题：我们希望这样的图片验证问题能够通过第三方的方式进行帮我们验证解决，然后再通过网络请求的方式再将验证码信息传输给我们，最后再将验证码作为参数传入给接口中，最终能让我们的程序跑起来！

第三方平台的推荐：

这里我选用的是 智能百度云 进行测试

这里我们先登录百度智能云官网，锁定产品服务选项，其中在人工智能选项卡中有文字识别【验证码就是文字识别的一种】功能

如上所示：我们可以发现当我们创建一个应用时正常可以免费提供50000次每天，一般够你用了！在这里我们点击创建应用，按需填写，填写后它会创建一个应用给你，如下所示，这三个都是该第三方接口调用的重要参数

之后我们点击右边的技术文档

之后如下：

之后我们旋转场景：通用文字识别（高精度版），点击右边的编程类型

这里看技术文档可知：该接口的类型为post类型，即我们需要分装请求参数，我们需要

第一步：先获得access_token参数：

最后我们只需要将返回的json类型数据进行提取即可：
access_token = response.json()[“access_token”]

第二步：
接下来就是无脑搬代码的阶段了。。。
直接复制该代码，根据参数需求进行填写即可

这里测试我模拟一个网络请求验证码图片，再将验证码图片内容保存到本地，再调用第三方接口进行测试：验证码图片 url ：http://www.renren.com/SysHome.do

测试代码：

import requests
import base64
from lxml import etree

#前期请求到access_token参数
request_url = 'https://aip.baidubce.com/oauth/2.0/token'
data = {
    'grant_type':'client_credentials',
    'client_id':'传入你的client_id',
    'client_secret':'传入你的client_secret'
}
response = requests.post(url=request_url,data=data).json()
access_token = response["access_token"]
print(access_token)




#2.网络请求验证码地址获取图片
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'}
img_url = 'http://www.renren.com/SysHome.do'
r = requests.get(img_url,head).text
tree = etree.HTML(r)
src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0]
img_date = requests.get(src,head).content
with open('2.jpg','wb') as f:
    f.write(img_date)



#3。对获取的网络图片进行读取，将读取到的内容进行base64编码
F = open('2.jpg','rb')
img =base64.b64encode(F.read())



#4.参数的封装
params = {"image":img}
next_url = f'https://aip.baidubce.com/rest/2.0/ocr/v1/general_basic'+ "?access_token=" + access_token
headers = {'Content-Type':'application/x-www-form-urlencoded'}



#5.对图片base64编码后的图片数据作为参数传入post请求中发送给服务器！！
last_response = requests.post(next_url,headers=headers,data=params)
if last_response:
    try:
        print(last_response.json()["words_result"][0]["words"])
    except:
        print("无法识别")

测试结果：

识别度确实有点。。。毕竟免费嘛。。

更多免费API: 天行数据 , 有道智云
推荐：超级鹰打码平台【收费】