向量距离、随机变量相关性与概率分布的差异度量

向量距离度量

---

距离的定义：

在一个集合中，如果每一对元素均可唯一确定一个实数，使得三条距离公理（正定性，对称性，三角不等式）成立，则该实数可以称为这对元素之间的距离。

欧氏距离

定义在两个向量（两个点）上：点$\mathbf{x}$和点$\mathbf{y}$的欧氏距离为：

$$d_{Euclidean}=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\top }(\mathbf{x}-\mathbf{y})}$$

曼哈顿距离

Manhattan Distance（L1范数），也称为城市街区距离（City Block distance）。
定义在两个向量（两个点）上：点$\mathbf{x}$和点$\mathbf{y}$的曼哈顿距离为：

$$d_{Manhattan}=|\mathbf{x}-\mathbf{y}|$$

闵可夫斯基距离

Minkowski distance， 两个向量（点）的$p$阶距离：

$$d_{Minkowski}=(|\mathbf{x}-\mathbf{y}{|}^p{)}^{1/p}$$

当$p=1$时就是曼哈顿距离，当$p=2$时就是欧氏距离。

马氏距离

定义在两个向量（两个点）上，这两个点在同一个分布里。点$\mathbf{x}$和点$\mathbf{y}$的马氏距离为：

$$d_{Mahalanobis}=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\top }{\Sigma }^{-1}(\mathbf{x}-\mathbf{y})}$$

其中，$\Sigma$是这个分布的协方差， Cov ⁡ ( X , Y ) = E [ ( X − μ x ) ( Y − μ