相似度与相异度

目录

第1关:用相关系数计算直线之间的相似度

任务描述

相关知识

欧几里得相关系数

余弦相关系数

泊松相关系数

编程要求

测试说明

代码:

第2关:基于相似度度量的商品推荐

相关知识

协同过滤算法基本原理

协同过滤算法的实现步骤

编程要求

测试说明

代码:


第1关:用相关系数计算直线之间的相似度

任务描述

本关任务:计算各种相关系数方法下的直线(数据)相似度

相关知识

为了完成本关任务,你需要掌握:

  1. 欧几里得相关系数
  2. 余弦相关系数
  3. 泊松相关系数(也称皮尔逊相关系数)

欧几里得相关系数

利用欧几里得相关系数计算数据集的的相似度,一般是基于每对对象间的距离计算的。 其原理公式为:

def euclidean(p, q):
    # 如果两数据集数目不同,计算两者之间都对应有的数
    same = 0
    for j in p:
        if j in q:
            same += 1
 
    # 计算欧几里德距离,并将其标准化
    e = sum([(p[j] - q[j]) ** 2 for j in range(same)]) 
    return 1 / (1 + e ** 0.5) 
euclidean([1, 2, 3, 4, 5],[2, 4, 6, 8, 10]) 

输出:0.3090169943749474

余弦相关系数

余弦相似度,取值在-1和1之间。如果两个向量方向相反,那么等于-1;如果两个向量方向相同,那么等于1。所以,两个向量之间的夹角越小,其夹角余弦越大(越相似)。因此余弦相似度可以用来度量两个变量之间的相似程度。

因为我们需要对比的是直线之间的相似度,根据数据集之间的数据距离来计算相似度明显不太可取。所以,我们需要利用余弦相关系数来计算直线之间的相似度。就比如直线y=5x+3与直线y=5x+8的相似度。即可以看出两个数据集[5,3]与[5,8].计算它们之间的相似度如下: 余弦相关系数原理公式为:

代码如下:

def cosine_similarity(x, y):
    xx = 0.0
    yy = 0.0
    xy = 0.0
    for i in range(len(x)):
        xx += x[i] * x[i]
        yy += y[i] * y[i]
        xy += x[i] * y[i] 
    xx_sqrt = xx ** 0.5
    print(xx)
    print(yy)
    print(xy)
    yy_sqrt = yy ** 0.5
    cos = xy/(xx_sqrt*yy_sqrt)
    return cos
cosine_similarity([5,3],[5,8])

输出:0.890761869708233

泊松相关系数

上述余弦相关系数所使用的数据(两条直线)是二维数据,当我们将数据集扩增到多维数据时,即数据集(x1,x2,...,xn)与数据集(y1,y2,...,yn),对这些数据进行标准化,获得的向量之间的夹角的余弦,即皮尔逊相关系数。 其原理如图所示:

接下来我们选取deaths.csv(已上传数据集)中的一部分数据,即选取用户用户(UID)84001001与用户(UID)84001003从2004/1/20到2004/20/20这段日期的数据,再比较相似度。 获取数据代码如下:

import pandas as pd
df=pd.csv('./deaths.csv')
print(df.head)
print(df.loc[[0,1,16],'2004/1/20':'4/20/20'].values.tolist()) # 选取了第0,1,16行的用户从2004/1/20到2004/20/20这段日期的数据

print(df.head)的截图如下:

获得的三行数据如下: [[0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 3], [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]

#泊松相关系数
import scipy
import numpy
from scipy.stats import pearsonr
x =numpy.array([0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,2,2,2,1])
y =numpy.array([1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,3])
r_row, p_value = pearsonr(x, y)
print ("用户(UID)84001001与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为",r_row)
# print (p_value)

输出如下: 用户(UID)84001001与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为 0.5508226327552435

编程要求

请从数据集中获得数据,计算用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度(其中用户84001033序号即为16)

测试说明

平台会对你编写的代码进行测试: 预期输出:用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为 0.44908871313907184。

代码:

# 欧几里得相关系数
def euclidean(p, q):
    # 如果两数据集数目不同,计算两者之间都对应有的数
    same = 0
    for i in p:
        if i in q:
            same += 1

    # 计算欧几里德距离,并将其标准化
    ########## Begin ##########
    e = sum([(p[i] - q[i]) ** 2 for i in range(same)])
    ########## End ##########    
    return 1 / (1 + e ** 0.5)


print("欧几里得计算出的相似度为",euclidean([1, 2, 3, 4, 5], [2, 4, 6, 8, 10]))

# 余弦相似度
def cosine_similarity(x, y):
    xx = 0.0
    yy = 0.0
    xy = 0.0
    for i in range(len(x)):
        xx += x[i] * x[i]
        yy += y[i] * y[i]
        xy += x[i] * y[i]
    xx_sqrt = xx ** 0.5
#     print(xx)
#     print(yy)
#     print(xy)
    yy_sqrt = yy ** 0.5
    cos = xy/(xx_sqrt*yy_sqrt)
    return cos


print('余弦相关系数计算出的相似度为',cosine_similarity([5,3],[5,8]))


#泊松相关系数
import scipy
import numpy
from scipy.stats import pearsonr

########## Begin ##########
x =numpy.array([0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1])
########## End ##########
y =numpy.array([1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,3])

r_row, p_value = pearsonr(x, y)
print ("用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为",r_row)
# print (p_value)

第2关:基于相似度度量的商品推荐

任务描述

本关任务:通过协同过滤算法完成推荐系统应用实例。

相关知识

为了完成本关任务,你需要掌握:

  1. 了解协同过滤算法原理,
  2. 通过协同过滤算法实现商品推荐。

协同过滤算法基本原理

俗话说“物以类聚、人以群分”,如果你喜欢看《海贼王》、《火影忍者》等动漫,另外有个人也都喜欢这些动漫,而且他还喜欢《死神》,则很有可能你也喜欢《死神》这部动漫。

基本思想:购买了商品A的客户可能也会购买与商品A相似的商品B;与用户A相似的用户B可能也会购买用户A买过的上。

协同过滤算法的实现步骤

(一):找到与目标用户兴趣相似的用户集合

通常用 Jaccard 公式或者余弦相似度计算两个用户之间的相似度。设 N(u) 为用户 u 喜欢的物品集合,N(v)为用户 v 喜欢的物品集合,那么 u 和 v 的相似度是多少呢:

通过第一关的知识,我们了解到Jaccard 公式余弦相似度计算公式为:

Jaccard 公式:

余弦相似度:

假设目前共有4个用户: A、B、C、D;共有5个物品:a、b、c、d、e。用户与物品的关系(用户喜欢物品),如下图所示:

# 目标用户(A用户喜欢a、b、d商品)
target_user = {'A':['a','b','d']}
print(f'目标用户:{target_user}')
# 相似用户用户()
alike_user = {'B': ['a','c'],'C': ['b','e'],'D':['c','d','e']}
print(f'相似用户:{alike_user}')

输出:目标用户:{'A': ['a', 'b', 'd']} 相似用户:{'B': ['a', 'c'], 'C': ['b', 'e'], 'D': ['c', 'd', 'e']}

# 总共商品类型
key_value = []
value1 = target_user.values()
for item in value1:
   for good in item:
       # 如果不再就添加到键值(错别字2333)
       if good not in key_value:
           key_value.append(good)
value2 = alike_user.values()
for item in value2:
   for good in item:
       if good not in key_value:
           key_value.append(good)
print(f'总共商品类型:{key_value}')

输出:总共商品类型:['a', 'b', 'd', 'c', 'e']

为计算方便,通常首先需要建立“物品—用户”的倒排表,如下图所示:

new_table = []
for good in key_value:
    new_dict = {}
    user_list = []
    # 目标用户
    key_value_list = target_user.items()
    # print(key_value_list)
    for key_value in key_value_list:
        key = key_value[0]
        value = key_value[1]
        if (good in value) & (key not in user_list):
            user_list.append(key)
    # new_dict[good] = user_list
    # new_table.append(new_dict)
    # 相似用户
    key_value_list = alike_user.items()
    # print(key_value_list)
    for key_value in key_value_list:
        key = key_value[0]
        value = key_value[1]
        if (good in value) & (key not in user_list):
            user_list.append(key)
    new_dict[good] = user_list
    new_table.append(new_dict)
print(new_table)

输出:[{'a': ['A', 'B']}, {'b': ['A', 'C']}, {'d': ['A', 'D']}, {'c': ['B', 'D']}, {'e': ['C', 'D']}]

如果喜欢物品 a 的用户有 A 和 B,那么在矩阵中他们两两加1,如下图所示:

计算用户两两之间的相似度,以余弦相似度为例,对上图进行进一步计算:

# 计算余弦相似度
import pandas as pd
import numpy as np
df = pd.DataFrame(data=np.zeros((4,4)), columns=['A','B','C','D'],index=['A','B','C','D'])
print(df)
# 统计交集
for item in new_table:
    print(list(item.values())[0])
    label = list(item.values())[0]
    x = label[0]
    y = label[1]
    df.loc[x,y] = df.loc[x,y] + 1
    df.loc[y,x] = df.loc[y,x] + 1
print(df)
# 计算两两之间的相似度
count_list = {}
for i in ['A','B','C','D']:
    count = df.loc[i,:].sum()
    count_list[i] = count
print(count_list)

输出:A B C D A 0.0 0.0 0.0 0.0 B 0.0 0.0 0.0 0.0 C 0.0 0.0 0.0 0.0 D 0.0 0.0 0.0 0.0 ['A', 'B'] ['A', 'C'] ['A', 'D'] ['B', 'D'] ['C', 'D'] A B C D A 0.0 1.0 1.0 1.0 B 1.0 0.0 0.0 1.0 C 1.0 0.0 0.0 1.0 D 1.0 1.0 1.0 0.0 {'A': 3.0, 'B': 2.0, 'C': 2.0, 'D': 3.0}

for i in ['A','B','C','D']:
    for j in ['A', 'B', 'C', 'D']:
        df.loc[i,j] = df.loc[i,j] / np.sqrt(count_list[i] * count_list[j])
print(df)

(二):根据用户集合给目标用户推荐物品 首先需要从矩阵中找出与目标用户 u 最相似的 K 个用户,用集合 S(u,K) 表示,将 S 中用户喜欢的物品全部提取出来,并去除 u 已经喜欢的物品。对于每个候选物品 i ,用户 u 对它感兴趣的程度用如下公式计算:

其中 rvi​ 表示用户 v 对 i 的喜欢程度,在本例中都是为1,在一些需要用户给予评分的推荐系统中,则要代入用户评分。

举个例子,假设我们要给 A 推荐物品,选取 K = 3 个相似用户,相似用户则是: B、C、D,那么他们喜欢过并且 A 没有喜欢过的物品有:c、e,那么分别计算p(A,c)p(A,e)

看样子用户 A 对 c 和 e 的喜欢程度可能是一样的,在真实的推荐系统中,只要按得分排序,取前几个物品就可以了。

# 计算p(A,c)和p(A,e)
p_Ac = df.loc['A','B'] + df.loc['A','D']
print(f'p(A,c):{p_Ac}')
p_Ae = df.loc['A','C'] + df.loc['A','D']
print(f'p(A,e):{p_Ae}')
if p_Ac > p_Ae:
    print("用户A对c商品更感兴趣,将e商品推荐给A")
elif p_Ac < p_Ae:
    print("用户A对e商品更感兴趣,将e商品推荐给A")
else:
    print("用户A对c商品和e商品同样感兴趣!")

输出: p(A,c):0.7415816237971964 p(A,e):0.7415816237971964 用户A对c商品和e商品同样感兴趣!

编程要求

根据本节关卡知识,完成本关实训。

测试说明

代码:

# (一):找到与目标用户兴趣相似的用户集合
# ########## Begin ##########
# 目标用户(A用户喜欢a、b、d商品)
target_user = {'A':['a','b','d']}
print(f'目标用户:{target_user}')
# 相似用户用户()
alike_user = {'B':['a','c'],'C':['b','e'],'D':['c','d','e']}
print(f'相似用户:{alike_user}')
# ########## End ##########
# 倒排表

"""
a A B C
"""
# 总共商品类型
key_value = []
value1 = target_user.values()
for item in value1:
    for good in item:
        # 如果不在就添加到键值
        if good not in key_value:
            key_value.append(good)
value2 = alike_user.values()
########## Begin ##########
for item in value2:
   for good in item:
       if good not in key_value:
           key_value.append(good)
print(f'总共商品类型:{key_value}')
########## End ##########
new_table = []
for good in key_value:
    new_dict = {}
    user_list = []
    # 目标用户
    key_value_list = target_user.items()
    # print(key_value_list)
    for key_value in key_value_list:
        key = key_value[0]
        value = key_value[1]
        if (good in value) & (key not in user_list):
            user_list.append(key)
    # new_dict[good] = user_list
    # new_table.append(new_dict)
    # 相似用户
    key_value_list = alike_user.items()
    # print(key_value_list)
    for key_value in key_value_list:
        key = key_value[0]
        value = key_value[1]
        if (good in value) & (key not in user_list):
            user_list.append(key)
    new_dict[good] = user_list
    new_table.append(new_dict)
print(new_table)
########## Begin ##########
# 计算余弦相似度
import pandas as pd
import numpy as np
df = pd.DataFrame(data=np.zeros((4,4)), columns=['A','B','C','D'],index=['A','B','C','D'])
print(df)
# 统计交集
for item in new_table:
    print(list(item.values())[0])
    label = list(item.values())[0]
    x = label[0]
    y = label[1]
    df.loc[x,y] = df.loc[x,y] + 1
    df.loc[y,x] = df.loc[y,x] + 1
print(df)
########## End ##########

# 计算两两之间的相似度
count_list = {}
for i in ['A','B','C','D']:
    count = df.loc[i,:].sum()
    count_list[i] = count
print(count_list)
# 计算余弦相似度
########## Begin ##########
for i in ['A','B','C','D']:
    for j in ['A', 'B', 'C', 'D']:
        df.loc[i,j] = df.loc[i,j] / np.sqrt(count_list[i] * count_list[j])
########## End ##########
print(df)
########## Begin ##########
# 计算p(A,c)和p(A,e)
p_Ac = df.loc['A','B'] + df.loc['A','D']
print(f'p(A,c):{p_Ac}')
p_Ae = df.loc['A','C'] + df.loc['A','D']
print(f'p(A,e):{p_Ae}')
########## End ##########
if p_Ac > p_Ae:
    print("用户A对c商品更感兴趣,将e商品推荐给A")
elif p_Ac < p_Ae:
    print("用户A对e商品更感兴趣,将e商品推荐给A")
else:
    print("用户A对c商品和e商品同样感兴趣!")

开始你的任务吧,祝你成功!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: OpenCV中提供了多种图像相似度匹配算法,这些算法可以用来衡量两幅图像之间的相似度。 其中最常用的算法之一就是结构相似性(SSIM)算法。SSIM算法是一种无参考的图像质量评价指标,它考虑了亮、对比和结构三个方面。通过计算图像的均值、方差和协方差来比较两幅图像之间的结构相似性。 另一个常用的算法是均方误差(MSE)算法。MSE算法计算了两幅图像之间的像素值的平方差的平均值。MSE越小,表示两幅图像之间的差异越小,相似度越高。 还有一种常见的算法是标准互相关(SCC)算法。SCC算法通过将两幅图像进行频域变换,然后计算它们之间的互相关系数来衡量它们的相似度。 除了以上常见的算法外,OpenCV还提供了许多其他的相似度匹配算法,如结构相异(SD)算法、互信息(MI)算法等。这些算法各自有不同的计算方式和适用场景,可以根据具体的需求选择合适的算法。 总之,OpenCV提供了多种图像相似度匹配算法,可以根据需求选择合适的算法进行图像的相似度比较。 ### 回答2: OpenCV中提供了几种图像相似度匹配算法,通过对比两幅图像的相似程,来判断它们的相似度。主要有以下几种算法: 1. 均方差算法(Mean Squared Error, MSE):计算两幅图像像素之间的差异。具体计算方法是将两幅图像的每个像素值相减,然后平方,最后求平均值。 2. 结构相似性算法(Structural Similarity Index, SSIM):综合考虑亮、对比和结构三个方面的相似性。通过计算亮、对比和结构三个分量的相似值,然后加权求和得到最终的相似度。 3. 相关系数算法(Correlation Coefficient, CC):计算两幅图像之间的相关性,基于每个像素点的亮值进行计算。相关系数取值范围在-1到1之间,越接近1表示相似度越高。 4. 相互信息算法(Mutual Information, MI):通过计算两幅图像之间的信息增益来评估相似度。具体计算方法是在两幅图像上进行联合概率分布计算,然后计算信息熵和互信息。 5. 傅里叶变换算法(Fourier Transform, FT):将图像从空间域转换到频率域,通过计算两幅图像之间的频谱差异来评估相似度。具体计算方法是对图像进行傅里叶变换,计算频谱差异。 这些算法各有优缺点,适用于不同的场景和特定需求。在实际应用中,通常根据具体需求选择合适的算法进行图像相似度匹配。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值