布隆过滤器在网页去重中的应用

布隆过滤器在网页去重中的应用

假设你想从网上(新浪新闻)去下载一批网页,做信息检索(搜索引擎)的第一步.你已经从网上下载下来了一批网页,并且有这批网页的URL,不过你还有一批需要下载的网页的URL, 问题是这样的,如果有些URL已经被下载过了,你就不必要再次下载了,现在让你快速的识别出哪些URL上的是还没被下载的,可以有一定的误差,但是不能超过1%

参考:  寻找无序数组中的第K大数
参考:  QQ通信协议
参考:  关于char字符移位问题
参考:  有序数组合并的并行算法（有一定限制）
参考:  多线程伪共享(false sharing)问题分析
参考:  realxie的专栏