qq_35045170的博客

原创 scrapy移除Proxy-Authorization头部信息

项目使用scrapy框架抓取某网站，代理使用讯代理的自动转发。在程序运行后发现，返回值为auth fail, no auth header。网站为https协议。 检查源码发现，scrapy框架自动去除了Proxy-Authorization的头部信息，导致代理不可用。 解决办法：进入\site-packages\scrapy\core\downloader\handlers\http11.py注...