【Educoder数据挖掘实训】用广义Jaccard系数计算相似度

JZYshuraK

于 2024-03-13 20:16:55 发布

阅读量1.4k

点赞数 33

分类专栏：数据挖掘 Educoder作业文章标签：数据挖掘人工智能 python

本文链接：https://blog.csdn.net/JZYshuraK/article/details/136689839

版权

Educoder作业同时被 2 个专栏收录

59 篇文章 548 订阅

订阅专栏

数据挖掘

11 篇文章 2 订阅

订阅专栏

本文介绍了广义Jaccard系数的概念，它扩展了传统的二值Jaccard系数到整数集或实数集，用于衡量两个对象集合的相似程度。作者给出了一个Python函数`sim_tonimoto`的实现，并通过示例展示了如何计算两个数据集的相似度。

摘要由CSDN通过智能技术生成

【Educoder数据挖掘实训】用广义Jaccard系数计算相似度

开挖！！！！

相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；如果距离大，那么相似度小。比如两种水果，将从颜色，大小，维生素含量等特征进行比较相似性。
这里的相似度有点类似于我们之前提到过用值域法筛选异常值时候的参数，当然还是有很大区别的。

首先介绍 $J a cc a r d$ 系数。
对于两个特征向量 $A, B$ ，定义 $F_{xy}$ 为同位置下 $A$ 为 $x$ 且 $B$ 为 $y$ 的数量。
定义 $A B$ 的相似度 $\frac{F_{00}+F_{11}}{F_{00}+F_{01}+F_{10}+F_{11}}$ 。
对于集合来讲，两个集合 $x, y$ 的相似度 $\frac{|x\cap y|}{|x \cup y|}$ 。

对于广义 $J a cc a r d$ 系数，其不同点在于可能不止二值，可能是整数集或者实数集。
那么我们定义为 $E_j(x,y) = \frac{xy}{||x||^2+||y||^2-xy}$ 。

代码实现就比较容易了

###-----------编写代码实现广义Jaccard系数的计算----------
def sim_tonimoto(user1, user2):
    common = 0

    #1.判断有没有相同的数据, 没有相同数据则返回0
    ################# Begin #################
    for i in user1 :
        if i in user2 :
            common += 1
    ################# End #################
    if common == 0:
        return 0

    common_num = common
    user1_num = len(user1)
    user2_num = len(user2)


    #2.广义Jaccard系数计算
    ################# Begin #################

    res = common_num / (user1_num + user2_num - common_num)

    ################# End #################

    return res

a = [10,20,30] #输入数据1
b = [10,0,30] #输入数据2

#3.调用自己实现的sim_tonimoto函数
################# Begin #################
result = sim_tonimoto(a, b)

################# End #################
print(result) #输出相似度