大规模网页去重系统的简单设计和实现

    网页去重算法应用到了很多领域，例如：spam,推荐系统等，目前工作中需要用到网页的去重算法，量级大概是每天60W左右，但是由于是线上的系统，对系统能快速查找重复文章的性能要求较高，这里简单记下我们的思路和方法。

    算法调研：其实网页去重算法本质上都是提取网页的特征集合，然后根据这些特征来计算网页的相似度，我们主要调研了以下两种方法：

    1.yahoo的shingle算法：来源于yahoo的一篇论文，算法主要是将文档计算成m个64bit整数，计算两篇文档中相同的整数的个数b,一般b=1的时候两篇文档就非常相似了。利用此算法构建的去重系统计算效率较低，1s可以计算300篇作用的文档，但是查重的效率很高，评估的准确率在98%左右。

    2.google的SImHash算法：之前找工作面试的时候看过这个算法，算法大概是:首先将文档转成特征的集合，并且特征都有一定的权重，然后利用lsh算法将特征转换为m位的fingerprint，最后计算每一个fingerprint的海明距离，一般m为64.这个算法计算fingerprint的效率很快，可以达到1的10倍以上，但是查询的效率很低，并且准确率不如1

    以上两种算法都需要对网页进行预处理，比如去除html标签，去除标点符号等，比较短的内容效果会比较差，建议采用MD5算法替代，1算法中正文理想中的长度大于66Bytes效果不错。

    系统设计：

        处理能力：算法计算效率：300~400篇文档/s，内存占用：1000W篇文档占用内存约50