Scrapy 调用讯代理动态转发BUG 解决

问题:最近找一些代理来使用 , 用到了讯代理的动态转发,使用requests能正常使用,但是使用Scrapy框架调用的时候,怎么都调用不了。异常是没有特定的头部信息,但是请求是

解决:先使用抓包工具,查看程序发出去的请求的头信息,发现是没有我添加的头部信息,先是觉得可能自己加错误了,但尝试几次,在几个可以添加header的地方都添加,结果是都不能,最后觉得应该是框架的锅。

然后在框架里面寻找发送请求的地方,找了好久,终于找到这几句:

发现框架是直接把这个参数删除,最后把这2行注释了,就可以正常访问了,

然后不知道这2行代码,具体作用,到git scrapy中查找,还真让我找到了

看的出来,这个参数应该在scrapy里面是没有用的,只是为了防止这个参数别发送到远程服务器端,特意删除的,就是我现在用的这种情况~~。完工,继续优化代码~

评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值