simhash去重算法实践

最新推荐文章于 2024-03-02 12:32:16 发布

想努力的人

最新推荐文章于 2024-03-02 12:32:16 发布

阅读量515

点赞数

分类专栏：算法文章标签： simhash 算法预处理

本文链接：https://blog.csdn.net/LFGxiaogang/article/details/78857463

版权

算法专栏收录该内容

15 篇文章 0 订阅

订阅专栏

自己实践simhash算法的几点经验：

１　数据已处理，正则表达式去除各种转义符号

２　将文本中的数字和字母等去除

３　分词后去除停顿词

步骤，

１　文本预处理

代码步骤

1 jieba分词获取features

2 hash函数计算hash值

3 计算海明距离AxoB（两个二进制串中不同位的个数）

将第一篇features建立index

objs = [(str(0), Simhash(features))]index = SimhashIndex(objs, k=hamming_distance)   
其他篇s1 = Simhash(features)relation_list = index_s.get_near_dups(s1)if len(relation_list) == 0:	index.add(str(actual_count), s1)其中actual_count只是index中s1的词典键百度的去重算法
百度的去重算法最简单，就是直接找出此文章的最长的n句话，做一遍hash签名。n一般取3。 工程实现巨简单，据说准确率和召回率都能到达80%以上。
   
   

   
   
   
   
    
    更详细可以查看：
   
   
   
   
    
    http://blog.csdn.net/heiyeshuwu/article/details/44117473