前言
有个论坛一直在签到做任务,之前苦于对业务并不熟悉,一直没有去做签到脚本。这几天发现每日任务的领取和完成都是通过访问一个url来完成,不存在发送什么信息。虽然对爬虫只是一知半解,但是还是知道用request,对url get就行了,当然headers要加上cookis,user-agent。
问题
以上流程事实证明没有问题,但在过程上一直出现
Caused by SSLError(SSLError("bad handshake: SysCallError(-1, 'Unexpected EOF')",),)
完整错误信息没有保存下来,但这篇文章的评论说的很清楚
其实这个错误不完全是开了代理的原因,但确实关了代理就可以了。urllib 新版本的原因。如果出现这个问题,直接退回 urllib 版本:pip3 install urllib3==1.23。
由于现在已经解决这个问题,在尝试复现错误的过程中出现另一种错误
(Caused by ProxyError('Cannot connect to proxy.', OSError(0, 'Error')))
我认为两个问题都是本质相同的,且可以通过以上方法解决
由于我上的论坛需要一些辅助;又很恰巧的,虽然以前也有挂着辅助爬虫,但这次使用的虚拟环境和以前不一样,从而安装了最新的request库,同时或许安装了最新的urllib3
总结
关闭代理和urllib3降级选一个