设置timeout限制在爬虫中的运用

我们做一个并发的爬虫（例如用多协程或者多线程实现）。这里，如果不进行爬虫不设置timeout的话，如果某个子协程在运行的在还在等待的话，就有其他的线程跟着一起等这个线程的响应。（虽然会让其他的线程或者协程在这时候运行，但是切换所需要的时间的）。如果可以设计到这个timeout的数值比较小（合理的小的话）就会让这个线程（或者协程）在只用很短的时间就结束爬虫。如果失败就先记录下来，在之后做这个失败的数据的处理。

可以采用分级的timeout。这样，失败一次就放到timeout时间序列更长的队列当中。这样通过mlfq这样的操作来调度这些爬虫。

这样方法对于网络质量不是很稳定的情况下，这个爬虫效果会比较好。有些时候就没有必要用那么长的时间来等待。

原文链接：https://blog.csdn.net/a19990412/article/details/80330361