三种去重方式
去重就有三种实现方式，那有什么不同呢？
HashSet
使用java中的HashSet不能重复的特点去重。优点是容易理解。使用方便。
缺点：占用内存大，性能较低。
Redis去重
使用Redis的set进行去重。优点是速度快（Redis本身速度就很快），而且去重不会占用爬虫服务器的资源，可以处理更大数据量的数据爬取。
缺点：需要准备Redis服务器，增加开发和使用成本。
本文介绍了三种去重方法：HashSet、Redis去重和布隆过滤器（BloomFilter）。HashSet去重简单易懂，但内存占用大；Redis去重速度快，但需要额外服务器；BloomFilter占用内存小，适用于大数据量去重，但存在误判可能。BloomFilter是一种概率型数据结构，用于判断元素是否在集合中，具有较高的空间效率，但不支持元素删除且有误判风险。
最低0.47元/天 解锁文章
扫一扫
8966
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
