在爬取斗图吧网站时,发现该网站有防止机器人的百度云加速安全检测,于是百度看了看,没有这个问题的解决方案,便开始自己分析网页解决问题
1.打开需要手动输入验证码网页,如下图:
2.手动尝试输入验证码,通过查找发现,输入验证码后验证是否通过,此时会发送一个get请求,网址是:http://www.doutula.com/cdn-cgi/l/chk_captcha?id=40fef6a3a41e4ccc&captcha_challenge_field=4dc5050ff4518490a5eb63d16409d023_MTUyNDQ3MjE3Ny4zMDc%3D_10.57.18.59&manual_captcha_challenge_field=sfHYz
3.看到上面网址Headers下面Query String Parameters里有:
4.获取验证码,从上面可以知道验证码在:http://captcha.su.baidu.com/image/?session=1795c4dc2eddd42edfdc1954c5a24d22_MTUyNDQ3Mjg5NC4yMTE=_10.42.122.16&pub=377e4907e1a3b419708dbd00df9e8f79网址中,session和pub都有了,可以获取到验证码了
url2 = 'http://captcha.su.baidu.com/image/?\ session={}&\ pub=377e4907e1a3b419708dbd00df9e8f79' url3 = url2.format(dt['sessionstr']) codeImage = requests.get(url3) with open('doutu.jpg', 'wb') as f: f.write(codeImage.content)
5.目前我只能用手动输入验证码的方式,给验证通过那个网址发送get请求
http://www.doutula.com/cdn-cgi/l/chk_captcha?id=40ff194fe43f4ccc&captcha_challenge_field=815d9d4cb1758d9e9f1044969c506108_MTUyNDQ3MzYwMC43NzU%3D_10.57.39.53&manual_captcha_challenge_field=gvwhz
发现manual_captcha_challenge_field=验证码,前面那个id找了半天没发现哪里来的,通过多次验证,只要session和pub是配套的,那个id可以随便用一次手动输入通过验证的网址里的id即可
url4 = 'http://www.doutula.com/cdn-cgi/l/chk_captcha?id=40fde5a5911f4cf0&\ captcha_challenge_field={}&' url5 = url4.format(dt['sessionstr']) + "manual_captcha_challenge_field="+ input("请输入验证码:") rsp = requests.get(url5)
6.完成上面步骤可以发现,可以通过验证了,再利用cookie,爬取图片就可以随便访问了