目录:
一. 布隆过滤器
1、布隆过滤器是什么?(判断某个key一定不存在)
- 本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构
- 特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”。
- 相比于传统的 List、Set、Map 等数据结构,它更高效、占用空间更少,但是缺点是其返回的结果是概率性的,而不是确切的。
使用:
- 布隆过滤器在NoSQL数据库领域中应用的非常广泛
- 当用户来查询某一个row时,可以先通过内存中的布隆过滤器过滤掉大量不存在的row请求,然后去再磁盘进行查询
- 布隆过滤器说某个值不存在时,那肯定就是不存在,可以显著降低数据库IO请求数量
2、应用场景
- 如何在海量元素中快速判断一个元素是否存在(Redis 缓存穿透)
- 爬虫过滤已抓到的url
- 垃圾邮件过滤
1)场景1(给用户推荐新闻)
- 当用户看过的新闻,肯定会被过滤掉,对于没有看多的新闻,可能会过滤极少的一部分(误判)。
- 这样可以完全保证推送给用户的新闻都是无重复的。
2)场景2ÿ