相似度属性之距离

最新推荐文章于 2021-07-02 20:28:39 发布

_北方的雪_

最新推荐文章于 2021-07-02 20:28:39 发布

阅读量2.5k

点赞数

分类专栏： ML&PR&DM 文章标签：机器学习

ML&PR&DM 专栏收录该内容

26 篇文章 1 订阅

订阅专栏

欧氏距离：

欧几里得度量定义欧几里得空间中，点 x = (x₁,...,x_n) 和 y = (y₁,...,y_n) 之间的距离为

$d(x,y):=\sqrt{(x_1-y_1)^2 + (x_2-y_2)^2 + \cdots + (x_n-y_n)^2} = \sqrt{\sum_{i=1}^n (x_i-y_i)^2}$

向量 $\vec{x}$ 的自然长度，即该点到原点的距离为

$\|\vec{x}\|_2 = \sqrt{|x_1|^2 + \cdots + |x_n|^2}$ .

它是一个纯数值。在欧几里得度量下，两点之间直线最短。

马氏距离

马氏距离是由印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。对于一个均值为 $\mu = ( \mu_1, \mu_2, \mu_3, \dots , \mu_p )^T$ ，协方差矩阵为 $\Sigma$ 的多变量向量 $x = ( x_1, x_2, x_3, \dots, x_p )^T$ ，其马氏距离为

$D_M(x) = \sqrt{(x - \mu)^T \Sigma^{-1} (x-\mu)}$

马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为 $\Sigma$ 的随机变量 $\vec{x}$ 与 $\vec{y}$ 的差异程度：

$d(\vec{x},\vec{y})=\sqrt{(\vec{x}-\vec{y})^T\Sigma^{-1} (\vec{x}-\vec{y})}$

如果协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；如果协方差矩阵为对角阵，其也可称为正规化的欧氏距离。

$d(\vec{x},\vec{y})=\sqrt{\sum_{i=1}^p {(x_i - y_i)^2 \over \sigma_i^2}}$

其中 $\sigma_i$ 是 $x_i$ 的标准差。

巴氏距离

在统计学中，巴氏距离（巴塔恰里雅距离 / Bhattacharyya distance）用于测量两离散概率分布。它常在分类中测量类之间的可分离性。

在同一定义域X中，概率分布p和q的巴氏距离定义如下：其中（1）离散概率分布和（2）连续概率分布

BC是巴氏系数（Bhattacharyya coefficient）。

对于多维的正态分布

$p_i=\mathcal{N}(\boldsymbol\mu_i,\,\boldsymbol\Sigma_i)$

$D_B={1\over 8}(\boldsymbol\mu_1-\boldsymbol\mu_2)^T \boldsymbol\Sigma^{-1}(\boldsymbol\mu_1-\boldsymbol\mu_2)+{1\over 2}\ln \,\left({\det \boldsymbol\Sigma \over \sqrt{\det \boldsymbol\Sigma_1 \, \det \boldsymbol\Sigma_2} }\right)$