直奔主题,在用多线程写一个爬虫项目时,很自然的想到用“生产者-消费者”模式,但是又想实现一个额外的需求,即如果爬虫爬到了队列中已存在的url,则不进行入队操作。想实现这个,大概面临两个问题:
1. Queue
对象不支持in
操作
2. 即使1成立,如果在Queue
对象外部通过if item in q
这种形式也行不通,因为该过程无锁,多线程情况下就无法保证查询结果的准确性
进而观察了一下queue模块的源代码,因为Queue类是基于deque类实现的,那么就好办了:对put
方法稍加改造,增加一个unique
参数,依据此参数是否为True,在底层的deque中判断要加入的元素的存在性,以此可实现类似set的特性。
put方法源代码:
def put(self, item, block=True, timeout=None):
with self.not_full:
if self.maxsize > 0: