（数据挖掘-入门-2）相似度衡量的方法

主要内容：

1、距离度量

2、皮尔逊关系系数

3、cosine相似度

4、方法的选择

 

1、距离度量

距离度量是最简单的衡量相似度的方法，公式如下：

当r=1时，为曼哈顿距离（manhattan distance）；

当r=2时，为欧几里得距离（Euclidean distance）；

优点：简单

缺点：当数据某些属性或特征缺失时，该度量结果不准确

代码：

def minskowski(rating1,rating2,r):
    distance=0
    commonRatings=Flase
    for key in rating1:
        for key in rating2:
            distance+=pow(abs(rating1[key]-rating2[key]),r)
            commonRatings=True
    if commonRatings:
        return pow(distance,1/r)
    else:
        return 0 #indicates no ratings in common

 

2、皮尔逊关系系数（Pearson Correlation Coefficient）

有时候，每个人的判断标准不一样，例如在给物品打分（1-5）时，有的人的打分范围为4-5，而有的人为1-5，而他们其实的评价结果是一样的。

但如果通过上述的距离度量的话，那么这两个人的相似度则会相差甚远，因此需要一种类似归一化的方法来解决。

公式如下：

r范围为-1~1

在实际代码实现中，也可以写成下面的形式，这样子就只需要遍历一遍数据即可。

代码：

def pearson(rating1, rating2):
    sum_xy = 0
    sum_x = 0
    sum_y = 0
    sum_x2 = 0
    sum_y2 = 0
    n = 0
    for key in rating1:
        if key in rating2:
            n += 1
            x = rating1[key]
            y = rating2[key]
            sum_xy += x * y
            sum_x += x
            sum_y += y
            sum_x2 += pow(x, 2)
            sum_y2 += pow(y, 2)
    # now compute denominator
    denominator = sqrt(sum_x2 - pow(sum_x, 2) / n) * sqrt(sum_y2 - pow(sum_y, 2) / n)
    if denominator == 0:
        return 0
    else:
        return (sum_xy - (sum_x * sum_y) / n) / denominator
  

3、cosine 相似度

在距离度量中提到，特征空间往往都是稀疏的，如果通过距离去度量相似性的话，会出现不准确的结果。

因此，cosine相似度计算可以解决这个问题，因为它会忽略0值的计算，公式如下：

代码：

 

def cosine(rating1, rating2):
    sum_xy = 0
    sum_x2 = 0;
    sum_y2 = 0
    for key in rating1:
        sum_x += rating1[key] * rating1[key]
    for key in rating2:
        sum_y += rating2[key] * rating2[key]
    for key in rating1:
        for key in rating2:
            sum_xy += rating1[key] * rating2[key]
    
    denominator = sqrt(sum_x2) * sqrt(sum_y2)
    if denominator == 0:
        return 0
    else:
        return sum_xy / denominator

4、方法的选择

如果数据是密集dense，那么可以用距离度量；

如果数据是稀疏的sparse，那么可以用cosine度量；

如果数据尺度不一致，那么可以用pearson度量；