html状态码521,python爬虫 处理521状态码

在抓取数据的时候往往可以通过状态码来判断返回结果，今天在抓取数据的时候碰到了以前没有碰到过得状态码521，输出它的爬取内容(text)，发现是一些js代码。一起探讨一下如何处理521状态码。

用charles抓包的时候，发现浏览器对于同一网页连续访问了两次，第一次的访问状态码为521，第二次为200(正常访问)。看来网页加了反爬虫机制，需要两次访问才可返回正常网页。

通过对比两次请求，我们发现第二次访问带了新的cookie值。再考虑上面程序对爬取结果的输出为js代码，可以考虑其操作过程为࿱