关于相似度计算方法的python实现

关于相似度计算方法的python实现

参考

欧氏距离,曼哈顿距离:计算两个向量间的相似程度,值越小,相似度越高

高斯距离(标准化欧氏距离):计算两个向量间的相似程度,值越大,相似度越高

余弦相似度:取值范围是[-1,1],相同两个向量的之间的相似度为cos(0°)=1,方向上正相关;cos(180°) = -1,方向上负相关

**pearson系数:**用于研究不同变量(n个变量)两两间的相关程度,相关性矩阵(n x n)中的取值范围[-1,1], 正相关则>0,负相关则<0,无关则=0)

Note

  • 欧式距离的数值受到维度的影响,余弦相似度在高维的情况下也依然保持低维完全相同时相似度为1等性质。
  • 欧式距离体现的是距离上的绝对差异,余弦距离体现的是方向上的相对差异
import unittest
import numpy as np
import math

'''参考 https://www.cnblogs.com/chenpeng9/articles/4605577.html,https://blog.csdn.net/qq_32350131/article/details/104567014'''

'''欧几里得距离(越小相似度越高)'''
#计算欧几里德距离:
def euclidean(p,q):
    '''
    :param p: list
    :param q: list
    :return:
    '''
    #如果特征长度不同,不计算相似度
    if(len(p) != len(q)):
        raise Exception("feature length must be the same")

    p,q = np.array(p),np.array(q)
    d1 = np.sqrt(np.sum(np.square(p - q)))

    return d1

#@Deprecated
'''pearson系数(用于研究不同变量(n)间的相似程度,相关性矩阵(n x n)中的取值范围[-1,1], 正相关则>0,负相关则<0,无关则=0)'''
#计算皮尔逊相关度:
def pearson(p,q):
    # 如果特征长度不同,不计算相似度
    if (len(p) != len(q)):
        raise Exception("feature length must be the same")

    my_rho = np.corrcoef(p, q)
    return my_rho

'''曼哈顿距离'''
#计算曼哈顿距离:
def manhattan(p,q):
    '''
    :param p: list
    :param q: list
    :return:
    '''
    # 如果特征长度不同,不计算相似度
    if (len(p) != len(q)):
        raise Exception("feature length must be the same")

    p, q = np.array(p), np.array(q)
    dist = np.linalg.norm(p - q, ord=1)
    return dist

'''高斯距离(指数距离,或者标准化欧式距离),需要先计算欧式距离'''
def exponent_distance(p,q,y):
    '''
    :param p: list
    :param q: list
    :param y: 缩放因子
    :return:
    '''
    p, q = np.array(p), np.array(q)
    d = euclidean(p,q)
    d1 = np.exp(-y * d)
    return d1

'''余弦相似度(取值范围是[-1,1],主要用于研究两个向量在方向上的相似度,两个相同向量之间的相似度为: cos(0) = 1)'''
def cosine(p,q):

    # 如果特征长度不同,不计算相似度
    if (len(p) != len(q)):
        raise Exception("feature length must be the same")

    d = np.dot(p, q) / (np.linalg.norm(p) * np.linalg.norm(q))
    return d

#@待研究:如何同时考虑这两个距离,让其优势互补
'''策略1: 通过标准化欧式距离计算两向量的绝对距离,通过余弦相似度计算两向量的方向相似度'''
def cal_simliarity_cosine_divide_euclidean(p,q):
    '''
    :param p: list
    :param q: list
    :param y: 缩放因子
    :return: 欧式距离,余弦相似度
    '''
    return abs(cosine(p,q)) / euclidean(p,q)  #欧氏距离越小,相似度越大; 余弦距离越大[0,1],相似度越大; 总体越大,相似度越大

'''对所有距离进行汇总'''
def cal_simliarity(mode,p,q,y):
    '''
    :param mode: EXPONENT_DISTANCE,EUCLIDEAN,COSINE, EUCLIDEAN_COSINE
    :param p: list
    :param q: list
    :param y: 缩放因子
    :return: 相似度取值
    '''
    if(mode == "EXPONENT_DISTANCE"):
        return exponent_distance(p,q,y)
    elif(mode == "EUCLIDEAN"):
        return euclidean(p,q)
    elif(mode == "COSINE"):
        return cosine(p,q)
    elif(mode=="EUCLIDEAN_COSINE"):
        return cal_simliarity_cosine_divide_euclidean(p,q)
    else:
        raise Exception("Please enter the correct mode name...")

# '''策略1对应的阈值设置,用于人脸识别'''
# def simliarity_euclidean_cosine_threshold(config, e, c):
#     '''
#     :param config: 策略1的阈值配置文件
#     :param e: 标准化的欧氏距离
#     :param c: 余弦相似度
#     :return:
#     '''
#     pass

class MyTest(unittest.TestCase):

    def test_euclidean(self):
        p = [1,0]
        q = [5,3]
        sim = euclidean(p,q)
        print(sim)

    def test_manhattan(self):
        p = [1,0]
        q = [5,3]
        sim = manhattan(p,q)
        print(sim)

    #@Deprecated
    def test_pearson(self):
        p = [1,0]
        q = [5,3]
        sim = pearson(p,q)
        print(sim)

    def test_cosine(self):
        p = [1, 0]
        q = [5, 3]
        sim = cosine(p, q)
        print(sim)

    def test_exponent_distance(self):
        p = [1, 0]
        q = [5, 3]
        sim = exponent_distance(p, q, y=1)
        print(math.pow(math.e,(-5)))
        print(sim)

        q1 = [2,3]
        sim = exponent_distance(p, q1, y=1)
        print(sim)
  • 1
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值