Python爬虫假死的解决

Python爬虫假死的解决

Author: Sijin Yu
最近做项目遇到Python爬虫假死, 即爬虫即不报错也不输出异常, 也没有发生死循环, 但是一直卡在一个地方不继续工作.
查阅资料找到一些解决方案. 因为搜索内容比较零散, 打算做个整理, 若有遗漏欢迎补充.
本文为原创, 若有转载请说明出处.

1. 设置timeout

例如

res = requests.get(url, headers=headers, timeout=2)

也可以分别设置请求等待时间和响应等待时间, 例如

res = requests.get(url, headers=headers, timeout=(2,5))

这里表示请求等待2s, 响应等待5s, 若超过等待时间, 则抛出一个 ConnectTimeout 异常.

2. 使用socket添加HTTP的强制超时

import socket
socket.setdefaulttimeout(10)

3. 考虑你的程序有没有卡在DNS解析

这个观点是在这篇文章看到的:https://www.cnblogs.com/niansi/p/7143736.html
如果你使用的是Linux机器, 可以考虑: 直接修改linux机器的hosts文件，指定域名访问的ip地址，免去解析dns的步骤.
另外, 在爬虫时, DNS解析往往会浪费比较多的时间, 为了提高效率, 可以用将DNS解析缓存到本地, 这样在同一个域名下爬取时可以节约DNS解析的时间. 参考文章: https://blog.csdn.net/bone_ace/article/details/55000101

4. 检查你的目的域名有没有被墙

其实这个一般可以用1和2两点解决, 有些被墙的网站一直不返回, 也有可能造成程序假死.

5. 考虑被反爬的可能

参考知乎回答: https://www.zhihu.com/question/21288367/answer/17774536. 有些网站可能有反爬措施, 例如给你一个网站, 你访问后跳转到另一个网站, 然后再跳转回来.

6. 设置看门狗

一样参考了上一个知乎回答. 可以做一个像硬件看门狗一样的程序, 每隔一段时间就喂狗, 发现程序假死就复位. 如果是多进程的话可以 kill 了进程再开一个. (不过貌似Python多线程可能比多进程性能强)