场景
在做广告定向投放时,我们选出了一批用户,用设备ID来标识他们。如果我们定向出了1000万个用户。用户获取服务时,我们需要判断是否在该集合中,如果在的话,将广告一起返回。如何判断呢?
- 存入数据库中,比如redis。优点是实现简单,缺点是内存占用大
- 使用bloom filter算法。优点是使用较小的内存空间,就可以判断一个给定的值是否在一个大的集合中,缺点是有一定的误判率,可以将误判率优化到0.009%,而这个是可以接受的
bloom filter原理
现有资源 长度为m的bit数组array,值都设置为0。同时有k个hash算法,每个算法能均匀的产生0到m-1的数值。
构建bloom filter 对于每一个输入的key,用hash算法产生k个hash值,将array的这k个位置均设成1。该网站Example有相应的演示。
判断 输入一个key,用hash算法产生k个hash值,如果array的这k个位置都为1,则key可能在这个集合内。否则,该key一定在不在这个集合内