simhash算法 - 检查两者相似度

一般的hash算法是出现哪怕轻微的变化，hash结果也会发生很大的变化

simhash算法：出现轻微的变化，hash值发生较小的变化；

思想：simhash是将一个文档，最后转换成一个64位的字节，暂且称之为特征字，然后判断相似只需要判断他们的特征字的距离是不是<n（根据经验这个n一般取值为3），就可以判断两个文档是否相似。

步骤：内容分词/特征值 -》 每个词通过MD5算法提取摘要变换为数值 -> 根据分词后对应词出现的数量加权 -> 分词的加权结果累加 -> 累加结果降维为1/0，得到simhash值-》在信息编码中，两个合法代码对应位上编码不同的位数称为码距，又称海明距离。举例如下：10101和00110从第一位开始依次有第一位、第四、第五位不同，则海明距离为3。海明距离在3以内的认为相似度比较高，这里相似度一般。

 

检查两者是否相同，可以用SHA、MD5这些哈希算法；检查两者是否相似，可以用simhash算法