机器学习 | 距离计算

相关文章：

机器学习 | 目录

机器学习 | 聚类评估指标

无监督学习 | KMeans与KMeans++原理

无监督学习 | KMeans之Skleaen实现：电影评分聚类

距离计算

对函数 $dist(\cdot ,\cdot )$ ，若它是一个“距离度量”（distance measure），则需满足一些基本性质：^[1]

$$\begin{array}{rl}& 非负性：dist(x_i,x_j)\ge 0;\\ & 同一性：dist(x_i,x_j)=0当且仅当x_i=x_j;\\ & 对称性：dist(x_i,x_j)=dist(x_j,x_i)\\ & 直递性：dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)【三角不等式】\end{array}\text{\hspace{1em}(1)}$$

1. 闵可夫斯基距离（有序属性）

给定样本 $x_i=(x_{i1},x_{i2},\cdots ,x_{in})$ 与 $x_j=(x_{j1},x_{j2},\cdots ,x_{jn})$ ，最常用的是“闵可夫斯基距离”（Minkowski distance）

$$dis{t}_{mk}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{ju}{|}^p{)}^{\frac{1}{p}}\text{\hspace{1em}(2)}$$

对 $p\ge 1$，式 2 明显满足公式 1 的距离度量基本性质。

当 $p\to \infty 时，则得到切比雪夫距离$

1.1 曼哈顿距离

当 $p=1$ 时，闵可夫斯基距离即曼哈顿距离（Manhattan distance），亦称“街区距离”（city block distance）：

$$dis{t}_{man}(x_i,x_j)=\Vert x_i-x_j{\Vert }_1=\sum _{u=1}^n|x_{iu}-x_{ju}|\text{\hspace{1em}(3)}$$

1.2 欧氏距离

当 $p=2$ 时，闵可夫斯基距离即欧式距离（Euclidean distance）：

$$dis{t}_{ed}(x_i,x_j)=\Vert x_i,x_j{\Vert }_2=\sqrt{\sum _{u=1}^n|x_{iu}-x_{ju}{|}^2}\text{\hspace{1em}(4)}$$

我们常将属性划分为“连续属性”（continuous attribute）和“离散属性”（categorical attribute），前者在定义域上有无穷多个可能的取值，后者在定义域上是有限个取值。

然而，在讨论距离计算时，属性上是否定义了“序”关系更为重要。例如定义域 {1,2,3} 的离散属性与连续属性的性质更接近一些，能直接在属性值上结算距离：“1”与“2”比较接近、与“3”比较远，这样的属性称为“有序属性”（ordinal attribute）；而定义域 {飞机, 火车, 轮船} 这样的离散属性则不能直接在属性值上计算距离，称为“无序属性”（non-ordinal attribute）。

显然，闵可夫斯基距离可用于连续属性和有序属性。

连续属性亦称“数值属性”（numerical attribute），“离散属性”亦称“列名属性“（nominal attribute）

2. VDM 距离（无序属性）

对无需属性可采用VDM（Value Difference Metric）。令 $m_{u,a}$ 表示在属性 $u$ 上取值为 $a$ 的样本数，$k$ 为样本数， $m_{u,a,i}$ 表示在第 $i$ 个样本簇中在属性 $u$ 上取值为 $a$ 的样本数，$k$ 为样本簇数，则属性 $u$ 上两个离散值 $a$ 与 $b$ 之间的 VDM 距离为：

$$VD{M}_p(a,b)=\sum _{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}{|}^p\text{\hspace{1em}(5)}$$

3. MinkovDM 距离（混合属性）

将闵可夫斯基距离和 VDM 距离结合即可处理混合属性。假定有 $n_c$ 个有序属性、 $n-n_c$ 个无序属性，不失一般性，令有序属性排列在无序属性之前，则

$$MinkovD{M}_p(x_i,x_j)=(\sum _{u=1}^{n_c}|x_{iu}-x_{ju}{|}^p+\sum _{u=n_c+1}^{n}VD{M}_p(x_{iu},x_{ju}){)}^{\frac{1}{p}}\text{\hspace{1em}(6)}$$

4. 加权距离（重要性不同）

当样本空间中不同属性的重要性不同时，可使用“加权距离”（weighted distance）。

以加权闵可夫斯基距离为例：

$$dis{t}_{wmk}(x_i,x_j)=(\sum _{u=1}^n{w}_u|x_{iu}-x_{ju}{|}^p{)}^{\frac{1}{p}}\text{\hspace{1em}(7)}$$

参考资料

[1] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 199-200.