新闻内容去重算法simhash实践

前言

    最近做了新闻去重算法的工作，mark下

    两个应用场景：1. 重复新闻整体检测、去重   2. 从非重复的新闻中寻找重复的句子，依次判断两篇新闻是否存在同一个话题的不同观点（多方观点提取）

     本人不负责爬虫，爬虫的同事只做了简单的新闻title重复的检测、去重。 我提供内容的检测算法

一 通用网页去重算法框架

      

二 simhash算法

      简单一查网页去重，就知道google的simhash算法。  来自于GoogleMoses Charikar发表的一篇论文“detecting near-duplicates for web crawling”中提出了simhash算法，专门用来解决亿万级别的网页的去重任务。

    

    simhash作为locality sensitive hash（局部敏感哈希）的一种

    流程