- 博客(2)
- 收藏
- 关注
原创 布隆过滤器的学习之路
简介:工作中可能会遇到,处理大批量数据的去重工作,例如爬虫,数据清洗,需要在大数据量下判断数据是否存在。如果我们对于判断的准确性稍微放松一些,就可以, 评估:如果你的数据量不大,在千万以下,并且拥有redis资源充分,可以使用MD5的hash算法生成32位指纹,利用redis进行数据去重,如果亿级别甚至更多的数据量,就要考虑资源问题,毕竟redis的价格还是很贵的,这时候就可以利用布隆过滤。或者...
2019-08-29 16:11:58
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人