【深度好文】simhash文本去重流程

最新推荐文章于 2024-05-11 11:18:43 发布

置顶

smile_milk1992

最新推荐文章于 2024-05-11 11:18:43 发布

阅读量375

点赞数

分类专栏： java 文章标签：算法 python 数据结构 hash

本文链接：https://blog.csdn.net/qq_30175203/article/details/110136820

版权

本文深入探讨Simhash算法，一种用于文本相似度计算的方法，尤其适用于新闻文本去重。相较于传统Hash算法，Simhash能够衡量内容的相似度，通过计算海明距离判断文本相似度。文章介绍了Simhash的原理、与传统Hash的区别、计算流程以及在新闻去重服务中的应用，包括URL、Title和Content的排重策略。

摘要由CSDN通过智能技术生成

对于类似于头条客户端而言，推荐的每一刷的新闻都必须是不同的新闻，这就需要对新闻文本进行排重。传统的去重一般是对文章的url链接进行排重，但是对于抓取的网页来说，各大平台的新闻可能存在重复，对于只通过文章url进行排重是不靠谱的，为了解决这个痛点于是就提出了用simhash来解决这个难题。

1.简介

传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。即便是两个原始内容只相差一个字节，所产生的签名也很可能差别很大，所以传统的Hash是无法在签名的维度上来衡量原内容的相似度。而SimHash本身属于一种局部敏感hash，其主要思想是降维，将高维的特征向量转化成一个f位的指纹（fingerprint），通过算出两个指纹的海明距离（hamming distince）来确定两篇文章的相似度，海明距离越小，相似度越低（根据 Detecting Near-Duplicates for Web Crawling 论文中所说），一般海明距离为3就代表两篇文章相同。

simhash也有其局限性，在处理小于500字的短文本时，simhash的表现并不是很好，所以在使用simhash前一定要注意这个细节。