python3爬取斗图吧解决百度云加速验证问题

在爬取斗图吧网站时，发现该网站有防止机器人的百度云加速安全检测，于是百度看了看，没有这个问题的解决方案，便开始自己分析网页解决问题

1.打开需要手动输入验证码网页，如下图：

2.手动尝试输入验证码，通过查找发现，输入验证码后验证是否通过，此时会发送一个get请求，网址是：http://www.doutula.com/cdn-cgi/l/chk_captcha?id=40fef6a3a41e4ccc&captcha_challenge_field=4dc5050ff4518490a5eb63d16409d023_MTUyNDQ3MjE3Ny4zMDc%3D_10.57.18.59&manual_captcha_challenge_field=sfHYz

3.看到上面网址Headers下面Query String Parameters里有：

1. id:
   40fef6a3a41e4ccc
2. captcha_challenge_field:
   4dc5050ff4518490a5eb63d16409d023_MTUyNDQ3MjE3Ny4zMDc=_10.57.18.59
3. manual_captcha_challenge_field:
   sfHYz 这几个参数与网址中的 captcha_challenge_field，manual_captcha_challenge_field 一致，于是再次清除cookie，重新进入网站验证界面，可以发现captcha_challenge_field来自session，可以通过网址：http://captcha.su.baidu.com/image/?session=1795c4dc2eddd42edfdc1954c5a24d22_MTUyNDQ3Mjg5NC4yMTE=_10.42.122.16&pub=377e4907e1a3b419708dbd00df9e8f79 可以查看，而这个网址中的session可以通过网址：http://captcha.su.baidu.com/session_cb/?pub=377e4907e1a3b419708dbd00df9e8f79&callback=callback中获取json数据得到
4. 代码：

5. url1 = 'http://captcha.su.baidu.com/session_cb/?pub=377e4907e1a3b419708dbd00df9e8f79&callback=callback'
   rsp = requests.get(url1)
   dt = json.loads(rsp.text.lstrip('callback(').rstrip(')'))
   dt['sessionstr']

   dt['sessionstr']即是session

4.获取验证码，从上面可以知道验证码在：http://captcha.su.baidu.com/image/?session=1795c4dc2eddd42edfdc1954c5a24d22_MTUyNDQ3Mjg5NC4yMTE=_10.42.122.16&pub=377e4907e1a3b419708dbd00df9e8f79网址中，session和pub都有了，可以获取到验证码了

url2 = 'http://captcha.su.baidu.com/image/?\
session={}&\
pub=377e4907e1a3b419708dbd00df9e8f79'
url3 = url2.format(dt['sessionstr'])
codeImage = requests.get(url3)
with open('doutu.jpg', 'wb') as f:
    f.write(codeImage.content)

5.目前我只能用手动输入验证码的方式，给验证通过那个网址发送get请求

http://www.doutula.com/cdn-cgi/l/chk_captcha?id=40ff194fe43f4ccc&captcha_challenge_field=815d9d4cb1758d9e9f1044969c506108_MTUyNDQ3MzYwMC43NzU%3D_10.57.39.53&manual_captcha_challenge_field=gvwhz

发现manual_captcha_challenge_field=验证码，前面那个id找了半天没发现哪里来的，通过多次验证，只要session和pub是配套的，那个id可以随便用一次手动输入通过验证的网址里的id即可

url4 = 'http://www.doutula.com/cdn-cgi/l/chk_captcha?id=40fde5a5911f4cf0&\
captcha_challenge_field={}&'
url5 = url4.format(dt['sessionstr']) + "manual_captcha_challenge_field="+ input("请输入验证码：")
rsp = requests.get(url5)

6.完成上面步骤可以发现，可以通过验证了，再利用cookie，爬取图片就可以随便访问了