爬虫被断开,请求失败。
- 今天爬取网站突然给我连断开,我楞了好一会,检查了请求头,ip,多线程,我还想是不是我请求太快了。。
- 这是报错:<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to th
e other side was lost in a non-clean fashion: Connection lost.> - 突然想到是不是不支持http,检查了网站url,发现是https啊。
- 然后逆向,改了http,竟然成功了!!不报错了,特此发个贴,记录下!
- 希望可以帮到一样出错得人。
- 不过最后也没找到错误,希望有大佬看到,是哪里有问题。