关于千里马招标网知道创宇反爬虫521状态码的解决方案（python代码模拟js生成cookie _clearence值）...

一、问题发现

近期我在做代理池的时候，发现了一种以前没有见过的反爬虫机制。当我用常规的requests.get(url)方法对目标网页进行爬取时，其返回的状态码（status_code）为521，这是一种以前没有见过的状态码。再输出它的爬取内容（text），发现是一些js代码。看来是新问题，我们来探索一下。

 

状态码和爬取内容.png

二、原理分析

打开Fiddler，抓取访问网站的包，我们发现浏览器对于同一网页连续访问了两次，第一次的访问状态码为521，第二次为200（正常访问）。看来网页加了反爬虫机制，需要两次访问才可返回正常网页。