关闭

根据simhash找出集合中相似文档的算法

969人阅读 评论(1) 收藏 举报
分类:

google的simhash算法可以用来衡量原始文档的相似程度。如何判断呢?很简单,就是求2个文档的simhash的距离(即二进制数字中不相同的位的个数)。

本文不想阐述simhash如何产生、如何计算距离,而是要解决从大量文档中找出相似的文档的问题(我们认为距离为1或2时,两文档相似,为0即相等不考虑)。最笨的方法当然是两两比较了,但是当集合中文档数量很大时,两两比较将会很不现实。那该怎么办呢?我的同事ruan给出了一个算法(这个算法也许来自某本书,这里暂且不管)。

算法很简单,当距离小于3时,我们认为文档A和文档B相似,所以我们将所有simhash数值按位均分成3段,即:

A=A1  A2  A3,B=B1  B2  B3,。。。,

如果A和B相似,必然存在某一个段是相等的,也就是说A和B相似,要么A1=B1,要么A2=B2,要么A3=B3,否则A和B不相似。

所以我们按段分组,同一组内的数据再做两两比较,大大减少了比较次数,提高了效率。第一个段分组计算完后再按第二个段、第三个段分组做同样操作。

如果距离小于7时,认为是相似的,就将simhash分成7段,计算方法相同。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:437962次
    • 积分:5554
    • 等级:
    • 排名:第4923名
    • 原创:124篇
    • 转载:1篇
    • 译文:0篇
    • 评论:89条
    最新评论