三种去重方式——HashSet、Redis去重、布隆过滤器(BloomFilter)

本文介绍了三种去重方法:HashSet、Redis去重和布隆过滤器(BloomFilter)。HashSet去重简单易懂,但内存占用大;Redis去重速度快,但需要额外服务器;BloomFilter占用内存小,适用于大数据量去重,但存在误判可能。BloomFilter是一种概率型数据结构,用于判断元素是否在集合中,具有较高的空间效率,但不支持元素删除且有误判风险。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

三种去重方式


去重就有三种实现方式,那有什么不同呢?

HashSet

使用java中的HashSet不能重复的特点去重。优点是容易理解。使用方便。

缺点:占用内存大,性能较低。

Redis去重

使用Redis的set进行去重。优点是速度快(Redis本身速度就很快),而且去重不会占用爬虫服务器的资源,可以处理更大数据量的数据爬取。

缺点:需要准备Redis服务器,增加开发和使用成本。

布隆过滤器(BloomFilter

使用布隆过滤器也可以实现去重。优点是占用的内存要比使用HashSet要小的多,也适合大量数据的去重操作。

缺点:有误判的可能。没有重复可能会判定重复,但是重复数据一定会判定重复。



布隆过滤器(BloomFilter)

布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出,它是一种space efficient的概率型数据结构,用于判断一个元素是否在集合中在垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到。

哈希表也能用于判断元素是否在集合中,但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题

布隆过滤器可以插入元素,但不可以删除已有元素。其中的元素越多,误报率越大,但是漏报是不可能的。

原理:

布隆过滤器需要的是一个位数组(和位图类似)和K个映射函数(和Hash表类似),在初始状态时,对于长度为m的位数组array,它的所有位被置0。

 

对于有n个元素的集合S={S1,S2...Sn},通过k个映射函数{f1,f2,......fk},将集合S中的每个元素Sj(1<=j<=n)映射为K个值{g1,g2...gk},然后再将位数组array中相对应的array[g1],array[g2]......array[gk]置为1:

 

如果要查找某个元素item是否在S中,则通过映射函数{f1,f2,...fk}得到k个值{g1,g2...gk},然后再判断array[g1],array[g2]...array[gk]是否都为1,若全为1,则item在S中,否则item不在S中。

布隆过滤器会造成一定的误判,因为集合中的若干个元素通过映射之后得到的数值恰巧包括g1,g2,...gk,在这种情况下可能会造成误判,但是概率很小。

### 关于布隆过滤器的讲解评测 #### 什么是布隆过滤器布隆过滤器是一种空间效率高的概率型数据结构,用于测试某个元素是否属于一个集合。它通过多个哈希函数将元素映射到固定大小的位数组上[^1]。 #### 布隆过滤器的特点 - **高效的空间利用**:相比于传统的存储方式(如HashSet),布隆过滤器能够显著减少所需的存储空间。 - **快速查询速度**:由于其基于位数组的设计,查询操作的时间复杂度接近O(1)[^2]。 - **可能误判**:这是布隆过滤器的核心特性之一——当判断某元素不在集合中时,结果一定是正确的;但如果返回该元素存在,则可能存在一定的假阳性率。 #### 应用场景分析 以下是几个典型的布隆过滤器应用领域: 1. **缓存系统中的处理** 在分布式缓存系统中,可以使用布隆过滤器来检测请求的数据是否存在缓存中,从而避免不必要的数据库访问。 2. **搜索引擎爬虫优化** 当网络蜘蛛抓取网页链接时,可以通过布隆过滤器记录已访问过的URL地址,防止复抓取同一页面的内容。 3. **大数据环境下的预筛选机制** 对海量日志文件或其他形式的大规模数据集执行初步筛查工作前先借助布隆过滤器剔除掉那些明显不符合条件的部分,进而提升整体运算效能。 4. **反垃圾邮件功能实现** 利用布隆过滤器保存黑名单列表里的邮箱账号或者IP地址信息,在接收新邮件到来之际迅速判定发送方身份合法性并采取相应措施加以拦截。 #### 性能评估指标 对于布隆过滤器而言,以下几个方面构成了对其性能考量的要维度: - **误报率控制**:随着插入数量增加以及分配给它的比特数变化等因素影响下如何维持较低水平的错误几率成为关键所在; - **内存消耗情况**:实际部署过程中需权衡所需额外占用资源量同预期收益之间的关系; - **计算开销统计**:涉及每次新增/删除项所引发的一系列内部调整动作耗费了多少CPU周期等问题都需要纳入考虑范围之内。 ```java // 创建一个容量为100万、期望误差率为0.01% 的BloomFilter实例 import com.google.common.hash.BloomFilter; import com.google.common.base.CharMatcher; public class BloomFilterExample { public static void main(String[] args){ int expectedInsertions = 1_000_000; //预计插入的数量 double fpp = 0.0001; //允许的最大false positive probability CharMatcher matcher = CharMatcher.ascii(); BloomFilter<CharSequence> bloomFilter = BloomFilter.create(matcher::newHashFunction(),expectedInsertions,fpp); String testString="test"; if(!bloomFilter.mightContain(testString)){ System.out.println("Not Contained"); bloomFilter.put(testString); }else{ System.out.println("Possibly contained"); } } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值