如果您不关心处理项目的顺序,我将尝试使用内部集合的Queue子类:
class SetQueue(Queue):
def _init(self, maxsize):
self.maxsize = maxsize
self.queue = set()
def _put(self, item):
self.queue.add(item)
def _get(self):
return self.queue.pop()
正如Paul McGuire指出的那样,这将允许在从“待处理”集合中删除之后添加重复项目,但尚未添加到“已处理”集合中.要解决这个问题,您可以将这两个集合存储在队列实例中,但由于您使用较大的集合来检查项目是否已被处理,所以您也可以返回到正确排序请求的队列.
class SetQueue(Queue):
def _init(self, maxsize):
Queue._init(self, maxsize)
self.all_items = set()
def _put(self, item):
if item not in self.all_items:
Queue._put(self, item)
self.all_items.add(item)
这样做的优点是与单独使用集合相反,Queue的方法是线程安全的,因此您不需要额外的锁定来检查其他集.