- 博客(2)
- 收藏
- 关注
RSS订阅原创 布隆过滤器的学习之路
简介：工作中可能会遇到，处理大批量数据的去重工作，例如爬虫，数据清洗，需要在大数据量下判断数据是否存在。如果我们对于判断的准确性稍微放松一些，就可以， 评估：如果你的数据量不大，在千万以下，并且拥有redis资源充分，可以使用MD5的hash算法生成32位指纹，利用redis进行数据去重，如果亿级别甚至更多的数据量，就要考虑资源问题，毕竟redis的价格还是很贵的，这时候就可以利用布隆过滤。或者...
2019-08-29 16:11:58
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人