向量距离、随机变量相关性与概率分布的差异度量

向量距离度量

---

距离的定义：

在一个集合中，如果每一对元素均可唯一确定一个实数，使得三条距离公理（正定性，对称性，三角不等式）成立，则该实数可以称为这对元素之间的距离。

欧氏距离

定义在两个向量（两个点）上：点$\mathbf{x}$和点$\mathbf{y}$的欧氏距离为：

$$d_{Euclidean}=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\top }(\mathbf{x}-\mathbf{y})}$$

曼哈顿距离

Manhattan Distance（L1范数），也称为城市街区距离（City Block distance）。
定义在两个向量（两个点）上：点$\mathbf{x}$和点$\mathbf{y}$的曼哈顿距离为：

$$d_{Manhattan}=|\mathbf{x}-\mathbf{y}|$$

闵可夫斯基距离

Minkowski distance， 两个向量（点）的$p$阶距离：

$$d_{Minkowski}=(|\mathbf{x}-\mathbf{y}{|}^p{)}^{1/p}$$

当$p=1$时就是曼哈顿距离，当$p=2$时就是欧氏距离。

马氏距离

定义在两个向量（两个点）上，这两个点在同一个分布里。点$\mathbf{x}$和点$\mathbf{y}$的马氏距离为：

$$d_{Mahalanobis}=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\top }{\Sigma }^{-1}(\mathbf{x}-\mathbf{y})}$$

其中，$\Sigma$是这个分布的协方差，$\mathrm{Cov}(X,Y)=E\left[\left(X-{\mu }_x\right)\left(Y-{\mu }_y\right)\right]$。

当$\Sigma =\mathbf{I}$时，马氏距离退化为欧氏距离。

余弦相似度

衡量两个向量的相关性（夹角的余弦）。向量$\mathbf{x},\mathbf{y}$的余弦相似度为：

$$\cos (\mathbf{x},\mathbf{y})=\frac{\mathbf{x}\cdot \mathbf{y}}{|\mathbf{x}|\cdot |\mathbf{y}|}$$

理解：向量的内积除以向量的数量积。

欧式距离与余弦距离的对比：

1 .欧式距离的数值受到维度的影响，余弦相似度在高维的情况下也依然保持低维完全相同时相似度为1等性质。
2. 欧式距离体现的是距离上的绝对差异，余弦距离体现的是方向上的相对差异。

余弦距离满足正定性和对称性，但是不满足三角不等式|a+b|<=|a|+|b|，因此余弦距离不是一个严格定义的距离。

随机变量的相关性

---

皮尔逊相关系数

衡量两个随机变量的相关性。随机变量$X,Y$的Pearson相关系数为：

$${\rho }_{X,Y}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}$$

理解：协方差矩阵除以标准差之积。

范围：[-1,1]，绝对值越大表示（正/负）相关性越大。

Jaccard相关系数

对两个集合$X,Y$，判断他们的相关性，借用集合的手段：

$$J=\frac{X\cap Y}{X\cup Y}$$

理解：两个集合的交集除以并集。

扩展：杰卡德Jaccard距离=$1-J$。

概率分布的差异度量

---

交叉熵

交叉熵度量两个概率分布间的差异性信息：
$$H(P，Q)=-\sum _{i=1}P(x)\log Q(x)$$
其中，P为真实分布，Q一般为数据估计的分布。
信息量，一个具体事件发生所带来的信息。$h(x)=-logP(x)$

信息熵，所有可能发生事件所带来的信息量的期望。$H(X)=-{\sum }_{i=1}P(x)\log P(x)$

KL散度

Kullback–Leibler divergence，相对熵，衡量两个概率分布$P(x),Q(x)$的距离：

$$D_{KL}(P||Q)=\sum _{i=1}P(x)\log \frac{P(x)}{Q(x)}$$

非对称距离：$D_{KL}(P||Q)\ne D_{KL}(Q||P)$.

互信息

定义在两个概率分布$X,Y$上，$x\in X,y\in Y$.它们的互信息为联合分布$p(x,y)$和边缘分布$p(x)p(y)$的相对熵：

$$I(X;Y)=\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}$$

JS距离

Jensen–Shannon divergence，基于KL散度发展而来，是对称度量：

$$JSD(P||Q)=\frac{1}{2}{D}_{KL}(P||M)+\frac{1}{2}{D}_{KL}(Q||M)$$

其中$M=\frac{1}{2}(P+Q)$。是对称度量。

MMD距离

Maximum mean discrepancy，度量在再生希尔伯特空间中两个分布的距离，是一种核学习方法。两个随机变量的距离为：

$$MMD(X,Y)={\Vert \sum _{i=1}^{n_1}\varphi (\mathbf{x}\ast i)-\sum \ast {j=1}^{n_2}\varphi (\mathbf{y}\ast j)\Vert }^2\ast \mathcal{H}$$

其中$\varphi (\cdot )$是映射，用于把原变量映射到高维空间中。

理解：就是求两堆数据在高维空间中的均值的距离。

Principal angle

也是将两个分布映射到高维空间（格拉斯曼流形）中，在流形中两堆数据就可以看成两个点。Principal angle是求这两堆数据的对应维度的夹角之和。对于两个矩阵$\mathbf{X},\mathbf{Y}$，计算方法：首先正交化两个矩阵，然后：

$$PA(\mathbf{X},\mathbf{Y})=\sum _{i=1}^{\min (m,n)}\sin {\theta }_i$$

其中$m,n$分别是两个矩阵的维度，${\theta }_i$是两个矩阵第$i$个维度的夹角，$\Theta ={\theta }_1,{\theta }_2,\cdots ,{\theta }_t$是两个矩阵SVD后的角度：

$${\mathbf{X}}^{\top }\mathbf{Y}=\mathbf{U}(\cos \Theta ){\mathbf{V}}^{\top }$$

HSIC

希尔伯特-施密特独立性系数，Hilbert-Schmidt Independence Criterion，用来检验两组数据的独立性：

$$HSIC(X,Y)=trace(HXHY)$$

其中$X,Y$是两堆数据的kernel形式。

Earth Mover’s Distance

推土机距离，度量两个分布之间的距离，又叫Wasserstein distance。以最优运输的观点来看，就是分布$X$能够变换成分布$Y$所需要的最小代价：

一个二分图上的流问题，最小代价就是最小流，用匈牙利算法可以解决。

$$emd(X,Y)=\min \frac{{\sum }_{i,j}{f}_{ij}d(\text{x}i,\text{y}j)}{\sum jwyj}$$
约束条件为

$$s.t.\sum _i{f}_{ij}=w_{yj},\sum _j{f}_{ij}=w_{xi}.$$

References