【Educoder数据挖掘实训】用Jaccard系数计算文本之间的相似度

最新推荐文章于 2024-07-09 20:12:07 发布

JZYshuraK

最新推荐文章于 2024-07-09 20:12:07 发布

阅读量456

点赞数 8

分类专栏：数据挖掘 Educoder作业文章标签：数据挖掘人工智能 python

本文链接：https://blog.csdn.net/JZYshuraK/article/details/136702433

版权

Educoder作业同时被 2 个专栏收录

59 篇文章 538 订阅

订阅专栏

数据挖掘

11 篇文章 2 订阅

订阅专栏

本文介绍了如何在Educoder数据挖掘实训中，利用Jaccard系数计算两个文本字符串之间的相似度，涉及分词、集合操作和Jaccard系数的计算步骤。示例代码展示了如何通过jieba库实现这一过程。

摘要由CSDN通过智能技术生成

【Educoder数据挖掘实训】用Jaccard系数计算文本之间的相似度

开挖！！

这个题就是上两个实训的应用，关于 $J a cc a r d$ 系数之前的实训有介绍过。

这里的分词跟上个实训没任何区别，只不过写成了两步。

之后关于相似度的计算完全没区别，只需要计算一下集合个数即可。
代码如下：

#import numpy as np
#from scipy.spatial.distance import pdist#直接调包可以计算JC值 ,需要两个句子长度一样；
import jieba
jieba.setLogLevel(jieba.logging.INFO)
def Jaccrad(model, reference):#terms_reference为源句子，terms_model为候选句子
    #1.分词
    ########## Begin ##########
    terms_reference= jieba.cut(reference)
    terms_model= jieba.cut(model)
    ########## End ##########
    grams_reference = list(set(terms_reference))
    grams_model = list(set(terms_model))
    #2.计算交集
    ########## Begin ##########
    temp=0
    for i in grams_reference:
        if i in grams_model:
            temp=temp+1
    ########## End ##########
    fenmu=len(grams_model)+len(grams_reference)-temp
    #3.计算Jaccard系数
    ########## Begin ##########
    jaccard_coefficient=float(temp/fenmu)
    ########## End ##########
    return jaccard_coefficient
str1="我爱北京天安门"
str2="天安门雄伟壮阔让人不得不爱"
jaccard_coefficient=Jaccrad(str1,str2)
print(jaccard_coefficient)