项目使用scrapy框架抓取某网站,代理使用讯代理的自动转发。在程序运行后发现,返回值为auth fail, no auth header。网站为https协议。
检查源码发现,scrapy框架自动去除了Proxy-Authorization的头部信息,导致代理不可用。
解决办法:进入\site-packages\scrapy\core\downloader\handlers\http11.py注释掉相关代码即可
scrapy移除Proxy-Authorization头部信息
最新推荐文章于 2024-05-01 08:11:31 发布