主要内容
1、为什么会发生缓存穿透?
2、解决缓存穿透的思路
3、布隆过滤器原理与项目实战
4、布隆过滤器的不足与升级
引入Redis的优势
APP -> Redis -> DB
1、减轻数据库压力
2、提升查询的速度
3、避免计算时间
Redis
情况一
情况二
情况三
要避免持续从数据库查不存在的数据,怎么做?
1、当从数据库取不到值,往redis设置一个该key的空值
2、需给key设置expire(过期时间)
面试题:
如何在海量元素(例如10亿无序、不定长、不重复)快速判断一个元素是否存在?
![](https://i-blog.csdnimg.cn/blog_migrate/5662e975e3f7ed9399eee3a8ffa63d93.png)
映射的方法?
1、变成相同长度的输出
2、下标分布均匀
Hash 散列
哈希
MD5
SHA-1
![](https://i-blog.csdnimg.cn/blog_migrate/1289549cdaeb7e5a5888882eb7baafcb.png)
那么?怎么减少哈希碰撞?(哈希碰撞是不可避免的)
1、扩大位图
2、增加Hash函数次数
Bloom Filter
布隆过滤器的本质
1、位数组(二进制向量)
2、一系列随机映射函数
情况一:
当d在布隆过滤器3次都返回了1,是否能确定d一定【在】容器里?
不能,因为f2(d)、f3(d)是a、c二次运算得到的。(哈希碰撞是不可避免的!)
布隆过滤器的特性
fpp假良性
情况二:
当e在布隆过滤器返回了至少一个0的时候,是否能确定e一定【不在】容器里?
可以,只要存进去了,就一定不会出现0的情况。
总结
怎么实现一个布隆过滤器?
MD5?
问题点
空间:消耗过多的内存
时间:你计算的时间太慢了
Guava,是否了解?(谷歌开源工具包Util)
集合类
字符
限流 RateLimiter
布隆过滤器
国产版本(待了解)
判断某些实际存在的元素
set contains()
拿出来一个实际存在的元素?
list get()
HashMap
测试1万次
100次:询问真实存在的元素
9900次:询问实际不存在的元素
存100万个元素,7298440比特 = 0.87M字节
10亿个?
修改数据怎么办?
新增数据怎么办?
put
删除数据怎么办?
布隆过滤器不支持删除!
1000 Thread 同时
Java