Scrapy遇到http状态码521：Crawled (521)的解决方案

大家好，我是专职Android研发，有14年研发经验，其中Android研发经验已经有10年。
曾任职上市公司，有车机导航、机器人等行业及研发经验，热衷于技术和研发。
除Android专业外，也研究并使用Python、PHP、JavaScript、前端、中间件、数据库等技术。
目前开始通过博客对自己的知识和经验进行归纳和总结，由于工作较忙，不定期去更新博客。
希望本博客的内容能够真正帮助到一些同学。
个人博客： Dzboy的日志

问题

最近在使用Scrapy，遇到了http status 521状态码：
DEBUG: Crawled (521) <GET https://xxx/xxx/xxx> (referer: None)
导致网站数据获取不到。

问题分析

这是因为网站的反爬机制：当第一次访问该站，都会弹出一个521的错误状态码，同时Response Header中携带一个Set-Cookie，会通过Set-Cookie返回一个Cookie。
浏览器接受到状态码与Cookie，会再次进行一次请求，这时会在Request Header的Cookie中携带Response Header中携带一个Set-Cookie的值，这样就请求成功了。

解决方案

使用Scrapy的话，可以走UA的方式，只需要配置一下就可以了，非常方便：

如果访问的网站地址是这个 https://xxx