前言
“去重”是日常工作中会经常用到的一项技能,在爬虫领域更是常用,并且规模一般都比较大。去重需要考虑两个点:去重的数据量、去重速度。为了保持较快的去重速度,一般选择在内存中进行去重。
1、数据量不大时,可以直接放在内存里面进行去重,例如python可以使用set()进行去重。
2、当去重数据需要持久化时可以使用redis的set数据结构。
3、当数据量再大一点时,可以用不同的加密算法先将长字符串压缩成 16/32/40 个字符,再使用上面两种方法去重;
4、当数据量达到亿(甚至十亿、百亿)数量级时,内存有限,必须用“位”来去重,才能够满足需求。Bloomfilter就是将去重对象映射到几个内存“位”,通过几个位的 0/1值来判断一个对象是否已经存在。
5、然而Bloomfilter运行在一台机器的内存上,不方便持久化(机器down掉就什么都没啦),也不方便分布式爬虫的统一去重。如果可以在Redis上申请内存进行Bloomfilter,以上两个问题就都能解决了。
代码
#coding=utf-8
importredisfrom hashlib importmd5classSimpleHash(object):def __init__(self, cap, seed):
self.cap=cap
self.seed=seeddefhash(self, value):
ret=0for i inrange(len(value)):
ret+= self.seed * ret +ord(value[i])return (self.cap - 1) &retclassBloomFilter(o