爬虫连接丢失!!1

爬虫被断开,请求失败。

  • 今天爬取网站突然给我连断开,我楞了好一会,检查了请求头,ip,多线程,我还想是不是我请求太快了。。
  • 这是报错:<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to th
    e other side was lost in a non-clean fashion: Connection lost.>
  • 突然想到是不是不支持http,检查了网站url,发现是https啊。
  • 然后逆向,改了http,竟然成功了!!不报错了,特此发个贴,记录下!
  • 希望可以帮到一样出错得人。
  • 不过最后也没找到错误,希望有大佬看到,是哪里有问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值