关注
布隆过滤器的学习之路
简介：工作中可能会遇到，处理大批量数据的去重工作，例如爬虫，数据清洗，需要在大数据量下判断数据是否存在。如果我们对于判断的准确性稍微放松一些，就可以，
评估：如果你的数据量不大，在千万以下，并且拥有redis资源充分，可以使用MD5的hash算法生成32位指纹，利用redis进行数据去重，如果亿级别甚至更多的数据量，就要考虑资源问题，毕竟redis的价格还是很贵的，这时候就可以利用布隆过滤。或者...
个人成就
-
获得0次点赞
-
内容获得0次评论
-
获得1次收藏
兴趣领域
设置
- 人工智能
- 最近
- 文章
- 代码仓
- 资源
- 问答
- 帖子
- 视频
- 课程
- 关注/订阅/互动
- 收藏
搜TA的内容 
