python 内建模块queue -- 常用于多线程爬虫的队列
防止阻塞的方法
方法1:使用timeout,时间到了就抛出异常,此时捕获异常。常用于多级页面的抓取
from queue import Queue
#创建队列
q = Queue()
while True:
try:
url = self.q.get(block=True,timeout=3)
#请求+解析+处理数据的代码
except Exception as e:
br...
原创
2019-11-20 16:42:15 ·
126 阅读 ·
0 评论