本文介绍了在大数据去重场景下，如何利用Redis的BloomFilter数据结构进行去重操作。通过BloomFilter算法，结合Redis的内存存储，实现高效且可持久化的去重解决方案。文中给出了Python实现的BloomFilter类，并讨论了漏失率、内存大小、种子数量之间的关系，以及如何根据数据量调整参数。
前言
“去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。
1、数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。
2、当去重数据需要持久化时可以使用redis的set数据结构。
3、当数据量再大一点时，可以用不同的加密算法先将长字符串压缩成 16/32/40 个字符，再使用上面两种方法去重；
4、当数据量达到亿(甚至十亿、百亿)数量级时，内存有限，必须用“位”来去重，才能够满足需求。Bloomfilter就是将去重对象映射到几个内存“位”，通过几个位的 0/1值来判断一个对象是否已经存在。
5、然而Bloomfilter运行在一台机器的内存上，不方便持久化(机器down掉就什么都没啦)，也不方便分布式爬虫的统一去重。如果可以在Redis上申请内存进行Bloomfilter，以上两个问题就都能解决了。
代码
#coding=utf-8
importredisfrom hashlib importmd5classSimpleHash(object):def __init__(self, cap, seed):
self.cap=cap
self.seed=seeddefhash(self, value):
ret=0for i inrange(len(value)):
ret+= self.seed * ret +ord(value[i])return (self.cap - 1) &retclassBloomFilter(o
最低0.47元/天 解锁文章
1421
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
