最优化 | 人工智能中的常见范数 | 距离(欧氏距离等)和相似度的度量(余弦相似度)

范数和距离

在某些情况下，可以通过范数来定义距离。例如，对于向量空间 ${\mathbb{R}}^d$，可以通过范数$\Vert \cdot \Vert$定义距离。
范数是测量单个向量大小的工具，而距离是测量两个点或向量之间间隔的工具。通过范数可以定义距离，但距离的概念更加广泛，涵盖了更为复杂和多样的度量方法。
接下来讨论的情况都是通过范数定义距离

距离度量函数$d(\cdot ,\cdot )$必须满足以下的性质：

1. 非负性：$(\mathbf{x},\mathbf{y})\ge 0,\forall \mathbf{x},\mathbf{y}$
2. 自反性：$d(\mathbf{x},\mathbf{y})=0,当且仅当\mathbf{x}=\mathbf{y}$
3. 对称性：$d(\mathbf{x},\mathbf{y})=d(\mathbf{y},\mathbf{x}),\forall \mathbf{x},\mathbf{y}$
4. 三角不等式：$d(\mathbf{x},\mathbf{y})+d(\mathbf{y},\mathbf{z})\ge d(\mathbf{x},\mathbf{z}),\forall \mathbf{x},\mathbf{y},\mathbf{z}$

其中：$\mathbf{x}=(x_1,...,x_d),\mathbf{y}=(y_1,...,y_d)$

闵可夫斯基度量(Minkowski metric)

$$l_p(\mathbf{x},\mathbf{y})=(\sum _{i=1}^d|x_i-y_i{|}^p{)}^{1/p},p\ge 1$$

欧氏距离(Euclidean distance) | $l_2范数$

闵可夫斯基度量$p=2$时：
$$l_2(\mathbf{x},\mathbf{y})=(\sum _{i=1}^d|x_i-y_i{|}^2{)}^{1/2}=\Vert \mathbf{x}-\mathbf{y}{\Vert }_2$$

曼哈顿距离(Manhattan distance) | $l_1范数$

闵可夫斯基度量$p=1$时：
$$l_1(\mathbf{x},\mathbf{y})=\sum _{i=1}^d|x_i-y_i|=\Vert \mathbf{x}-\mathbf{y}{\Vert }_1$$

切比雪夫距离(Chebyshev distance) | $l_{\infty }范数$

闵可夫斯基度量$p=\infty$时：
$$l_{\infty }(\mathbf{x},\mathbf{y})=\underset{i=1,...,d}{\max }|x_i-y_i|=\Vert \mathbf{x}-\mathbf{y}{\Vert }_{\infty }$$

红色是欧氏距离
橙色是曼哈顿距离
绿色是切比雪夫距离

马氏距离 (Mahalanobis distance)

$$d(\mathbf{x},\mathbf{y})=\sqrt{(\mathbf{x}-\mathbf{y}{)}^T{S}^{-1}(\mathbf{x}-\mathbf{y})}$$
马氏距离考虑了数据分布的协方差矩阵$S$，对高维数据和不同尺度的数据具有较好的鲁棒性。

相似度

余弦相似度(Cosine Similarity) | 夹角余弦

$$Simi(\mathbf{x},\mathbf{y})=\cos \theta =\frac{{\mathbf{x}}^T\mathbf{y}}{\Vert \mathbf{x}{\Vert }_2\cdot \Vert \mathbf{y}{\Vert }_2}=\frac{{\sum }_{i=1}^d{x}_i{y}_i}{\sqrt{{\sum }_{i=1}^d|x_i{|}^2}\cdot \sqrt{{\sum }_{i=1}^d|y_i{|}^2}}$$
夹角越小，余弦值越接近1，表明两个向量越相似。相比距离度量函数，余弦相似度更注重两个向量在方向上的差异，而不关注向量的长度。

杰卡德相似度 (Jaccard Similarity):

$$\text{sim}(A,B)=\frac{|A\cap B|}{|A\cup B|}$$
杰卡德相似度用于衡量两个集合之间的相似度，范围在 [0, 1] 之间。

皮尔逊相关系数 (Pearson Correlation Coefficient)

$${\rho }_{\mathbf{x},\mathbf{y}}=\frac{\text{cov}(\mathbf{x},\mathbf{y})}{{\sigma }_{\mathbf{x}}{\sigma }_{\mathbf{y}}}$$
皮尔逊相关系数适用于度量两个连续变量之间的关系强度和方向，范围在 [-1, 1] 之间。对于数据分布要求，理想情况下，变量应服从正态分布，但在实际应用中，这一要求常常被放宽。当你想要检验两个变量之间是否存在线性关系时，计算皮尔逊相关系数是一个很有用的方法。

• 1 表示完全正相关：即一个变量增加，另一个变量也按相同比例增加。
• -1 表示完全负相关：即一个变量增加，另一个变量按相同比例减少。
• 0 表示没有线性相关：即一个变量的变化并不会导致另一个变量系统性的变化。