相似度度量方法有哪些?

CM莫问

于 2024-09-27 13:40:22 发布

阅读量404

点赞数 7

分类专栏：人工智能算法常见概念文章标签：算法人工智能机器学习 python 相似度

本文链接：https://blog.csdn.net/ChaneMo/article/details/142527735

版权

人工智能算法常见概念专栏收录该内容

10 篇文章 0 订阅

订阅专栏

一、什么是相似度

在数学和计算机科学中，向量通常由一组有序的数值组成，可以代表多种类型的数据，如文本、图像、声音等。向量相似度是指衡量两个向量在多维空间中相似程度的指标。向量相似度的计算方法有很多种，不同的方法适用于不同的场景。

二、常见的向量相似度度量方法

1、欧氏距离（Euclidean Distance）

欧氏距离（Euclidean Distance），也称为欧几里得距离，是最常用的空间距离度量之一。它用于衡量多维空间中两点之间的直线距离。在二维和三维空间中，欧氏距离对应于日常生活中的直观概念，即两点之间的“最短距离”。

在二维平面上，如果有两个点 $A(x_{1},y_{1})$ 和 $B(x_{2},y_{2})$ ，那么它们之间的欧氏距离d可以通过下面的公式计算：

$d(A,B) = \sqrt{(x_{2}-x_{1})^{2}+(y_{2}-y_{1})^{2}}$

对于n维空间中的两个点 $A(a_{1},a_{2},...,a_{n})$ 和 $B(b_{1},b_{2},...,b_{n})$ ，欧氏距离的计算公式为：

$d(A,B) = \sqrt{\sum_{i=1}^{n}(a_{i}-b_{i})^{2}}$

欧氏距离直观地反映了点与点之间的“实际”距离。然而，在高维空间中，欧氏距离可能会受到维度灾难的影响，距离变得不那么重要。

2、余弦相似度（Cosine Similarity）

余弦相似度（Cosine Similarity）是一种常用来衡量两个向量在多维空间中方向上的相似性的方法。它主要关注向量的方向而不是它们的幅度。余弦相似度的范围从-1到1，其中1表示完全相同的方向（完全相似），0表示正交（完全不相似），-1表示完全相反的方向。余弦相似度是基于两个向量之间的角度的余弦值来计算的。在文本挖掘中，余弦相似度常用于比较文档或查询与文档之间的相似性，因为它可以有效地忽略文档长度的影响。

在二维空间中，可以通过下面的公式计算两个向量之间的余弦相似度：

$CS(A,B) = \frac{A\cdot B}{||A||\times ||B||}$

其中，A⋅B是向量A和B的点积（内积），||A||是向量A的欧几里得范数（模长），||B||是向量B的欧几里得范数（模长）。

对于n维空间中的两个向量A和B，余弦相似度的计算公式可以扩展为：

$CS(A,B) = \frac{\sum_{i=1}^{n}A_{i} \cdot B_{i}}{\sqrt{\sum_{i=1}^{n}A_{i}^{2}}\times \sqrt{\sum_{i=1}^{n}B_{i}^{2}}}$

其中， $A_{i}$ 和 $B_{i}$ 分别是向量A和B在第i维的分量，分子是两个向量的点积，分母是两个向量的模长之积。

3、曼哈顿距离（Manhattan Distance）

曼哈顿距离（Manhattan Distance），也称为L1距离或城市街区距离，是一种在数学中用来度量两点在标准坐标系上的绝对轴距总和的度量方式。它通过将两点在各坐标轴上的绝对差相加来计算距离，因此也被称为出租车距离，因为这种距离度量方式类似于在城市街道上行驶的距离，其中只能沿着街道水平或垂直移动。

对于二维空间中的两个点 $A(x_{1},y_{1})$ 和 $B(x_{2},y_{2})$ ，曼哈顿距离D可以通过以下公式计算：

$D(A,B) = |x_{1}-x_{2}|+|y_{1}-y_{2}|$

在更高维度的空间中，曼哈顿距离的计算方式是类似的，需要考虑额外的维度。例如，在三维空间中，对于点 $A(x_{1},y_{1},z_{1})$ 和 $B(x_{2},y_{2},z_{2})$ ，曼哈顿距离D可以表示为：

$D(A,B) = |x_{1}-x_{2}|+|y_{1}-y_{2}|+|z_{1}-z_{2}|$

曼哈顿距离计算过程简单，易于理解和实现。在城市规划、游戏开发和路径规划等领域中，曼哈顿距离能够更好地模拟真实世界的移动限制。但在某些情况下，曼哈顿距离可能会忽略两点之间的最短路径。

4、p范数

p范数（Minkowski Norm）是一类距离函数的统称，用于在n维空间中衡量两点之间的距离。事实上，欧氏距离和曼哈顿距离都可以视为p范数的特例。p范数定义为：

$||x||_{p} = (\sum_{i=1}^{n}|x_{i}|^{p})^{\frac{1}{p}}$

其中，x是一个n维向量， $x_{i}$ 是向量的第i个分量。当p=2时，p范数对应于欧氏距离，当p=1时，p范数对应于曼哈顿距离。

三、python应用

1、欧氏距离

import numpy as np

# 定义两个向量
A = np.array([1, 2, 3])
B = np.array([4, 5, 6])

# 计算欧氏距离
euclidean_dist = np.linalg.norm(A - B)

print(f"欧氏距离: {euclidean_dist}")

2、余弦相似度

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 定义两个向量
A = np.array([1, 2, 3])
B = np.array([4, 5, 6])

# 计算余弦相似度
cos_sim = cosine_similarity(A.reshape(1, -1), B.reshape(1, -1))

print(f"余弦相似度: {cos_sim[0][0]}")

3、曼哈顿距离

def manhattan_distance(point1, point2):
    return abs(point1[0] - point2[0]) + abs(point1[1] - point2[1])

# 示例
point1 = (1, 2)
point2 = (4, 6)
distance = manhattan_distance(point1, point2)
print(f"曼哈顿距离: {distance}")

四、总结

除了上面介绍到的几种，还有多种距离/相似度度量方法，并没有哪一种方法能够完全胜任所有任务，因此基本都是先根据经验选择某一种方法，然后在时间、资源充裕的情况下通过实验对比不同的方法效果，从而敲定最后使用哪一种。按笔者的经验，数值型数据建模任务中，欧氏距离是最为常用的，而涉及文本向量的相似度计算更为常用的是余弦相似度。