布隆过滤器原理以及java/redis使用

布隆过滤器

布隆过滤器是用于判断一个元素是否在集合中。通过一个位数组和N个hash函数实现。(某样东西一定不存在或者可能存在.)

• 优点：
  • 空间效率高，所占空间小。
  • 查询时间短。
  • 自带去重
• 缺点：
  • 元素添加到集合中后，不能被删除。
  • 有一定的误判率

布谷鸟过滤器解决了布隆过滤器无法删除的问题

布隆过滤器原理

当一个元素加入布隆过滤器中的时候，会进行如下操作：

1. 使用布隆过滤器中的哈希函数对元素值进行计算，得到哈希值（有几个哈希函数得到几个哈希值）。
2. 根据得到的哈希值，在位数组中把对应下标的值置为 1。

当我们需要判断一个元素是否存在于布隆过滤器的时候，会进行如下操作：

1. 对给定元素再次进行相同的哈希计算；
2. 得到值之后判断位数组中的每个元素是否都为 1，如果值都为 1，那么说明这个值可能在布隆过滤器中，如果存在一个值不为 1，说明该元素一定不在布隆过滤器中。

使用场景

• 大量数据中判断某个数据是否存在(用户是否阅读过某个文章)：这就可以实现出上述的去重功能，如果你的服务器内存足够大的话，那么使用 HashMap 可能是一个不错的解决方案，理论上时间复杂度可以达到 O(1 的级别，但是当数据量起来之后，还是只能考虑布隆