redis实现布隆过滤器

思路:

用于快速检查一个元素是否属于某个集合中。它可以快速判断一个元素是否在一个大型集合中,且判断速度很快且不占用太
多内存空间。原理是使用一组哈希函数,将元素【映射】成数组中的【索引位置】,就是将元素转成他在索引中的位置,这个位
置可以是多个,对一个数据进行多次Hash,得到多个Hash值,把这个Hash值保存到数据组中,如果来了一个新的数据,也使
用同样的操作,如果所有哈希函数操作对应的位数组值都为1,那么该元素可能在集合中。

布隆过滤器优缺点:
1、时间和空间效率高
2、误判率低
3、支持高并发
缺点:
1、无法删除已添加的数据
2、误判率无法避免
3、无法精确判断元素是否存在

减少误判:
1、使用多个布隆过滤器,这种方法可以显著降低误判率,但是会增加存储空间和查询时间。
2、使用加密哈希函数
3、使用高质量的哈希函数:使用高质量的哈希函数可以减少哈希冲突的概率。常见的高质量哈希函数包括MurmurHashCityHash等。

备注:

1Murmurhash: 
是一种非加密型哈希函数,适用于一般的哈希检索操作。高运算性能,低碰撞率。

2CityHash:
是Google发布的字符串散列算法,和murmurhash一样,属于非加密型hash算法。CityHash算法的开发是受
到了MurmurHash的启发。其主要优点是大部分步骤包含了至少两步【独立的数学运算】。现代 CPU 通常能从这种代码获得
最佳性能。

CityHash 也有其缺点:代码较同类流行算法复杂。 Google 希望为速度而不是为了简单而优化,因此没有照顾较
短输入的特例。Google 号称CityHash64 在速度方面至少能提高 30%(这个,肯定不是和murmurhash比咯),并有望提
高多达两倍。此外,这些算法的统计特性也很完备。

关于:CityHash和MurmurHash算法的区别:跳转

布隆过滤器的实现原文章 跳转

demo

redis实现布隆过滤器,使用的是BitMap,只有01两个数字

//设置布隆过滤器的某个位置值为true。
redisTemplate.opsForValue().setBit(redisKey,index,Boolean.TRUE);

//查询某个位置的值
redisTemplate.opsForValue().getBit(redisKey, index);  返回值是boolean类型。



int abs = Math.abs(key.hashCode());
long index = (long) (abs % Math.pow(2, 32));
redisTemplate.opsForValue().getBit(redisKey, index); 当然这只使用了一个Hash函数,我们可以通过多个hash函数得到多个Index

当然不单单是redis可以实现,Guava也支持。

使用Guava布隆过滤器

/**
* 布隆过滤器
*/
private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), 存入数据的大小, 误判率);

bloomFilter.put(i);//存入数据


bloomFilter.mightContain(i)判断布隆过滤器是否包含这个元素,比如存1进去,当需要判断10是否存在时,可能也会返回true
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

信仰_273993243

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值