（《机器学习》完整版系列）附录 ——7、有趣的距离与范数（距离是两点之间的，如果将一个点固定在原点，则为向量的范数）

聚类的相似度通常用距离来刻划，距离又分为“（度量）距离”和“非度量距离”，“度量距离”由四条基本性质而“非度量距离”少满足一条（即不满足直递性）。
距离是两点之间的（公式中含有这两点的坐标），如果我们将一个点固定在原点，则相应公式就变为只含一个点（向量）了，称为向量的范数。

有趣的距离与范数

距离

聚类的相似度通常用距离来刻划，距离又分为“（度量）距离”和“非度量距离”，“度量距离”由四条基本性质（【西瓜书式(9.14)$\sim$(9.17)】定义的“四性”）来刻画，而“非度量距离”少满足一条（即不满足直递性），如，【西瓜书图9.1】示例。

欧氏距离是我们所熟悉的，将其推广到任意正数的闵可夫斯基距离：

（i）p$p⩾1$，即【西瓜书式(9.18)$\sim$(9.20)】，是度量距离

（ii）$0<p<1$，是非度量距离

下面我们证明闵可夫斯基距离满足相关性质要求：

（1）不管$0<p<1$还是$p⩾1$，显然满足非负性、同一性和对称性。

（2）$p⩾1$时满足直递性

证明中涉及到闵可夫斯基不等式:
$$\begin{array}{r}{\left[\sum _{u=1}^n(a_u+b_u{)}^p\right]}^{\frac{1}{p}}⩽{\left[\sum _{u=1}^n{a}_u^p\right]}^{\frac{1}{p}}+{\left[\sum _{u=1}^n{b}_u^p\right]}^{\frac{1}{p}}\end{array}\text{\hspace{1em}(C1)}$$
其中，$a_u>0,b_u>0,p⩾1$。

该不等式的证明需要用到较难的数学知识，在网上易查到它的证明，这里仅作引用。
$$\begin{array}{rl}|x_{iu}-x_{ju}|& =|x_{iu}-x_{ku}+x_{ku}-x_{ju}|\\ & ⩽|x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|\\ |x_{iu}-x_{ju}{|}^p& ⩽(|x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|{)}^p\\ \sum _{u=1}^n|x_{iu}-x_{ju}{|}^p& ⩽\sum _{u=1}^n(|x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|{)}^p\\ {\left[\sum _{u=1}^n|x_{iu}-x_{ju}{|}^p\right]}^{\frac{1}{p}}& ⩽{\left[\sum _{u=1}^n(|x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|{)}^p\right]}^{\frac{1}{p}}\end{array}\text{\hspace{1em}(C2)}$$

当$p⩾1$时，设$a_u=|x_{iu}-x_{ku}|,b_u=|x_{ku}-x_{ju}|$，对式(C2)右侧应用式(C1)，即得直递性。

（3）当$0<p<1$时，直递性不成立

令$x_{iu}^{\prime }=x_{iu}-x_{ku},x_{ju}^{\prime }=x_{ju}-x_{ku},$直递性等价于：
$$\begin{array}{rl}{\left[\sum _{u=1}^n|x_{iu}^{\prime }-x_{ju}^{\prime }{|}^p\right]}^{\frac{1}{p}}& ⩽{\left[\sum _{u=1}^n|x_{iu}^{\prime }{|}^p\right]}^{\frac{1}{p}}+{\left[\sum _{u=1}^n|x_{ju}^{\prime }{|}^p\right]}^{\frac{1}{p}}\end{array}\text{\hspace{1em}(C3)}$$
由于当$0<p<1$时，闵可夫斯基不等式(C1)不成立，即一定存在与$p$相关的${\mathbf{a}}_p=(a_1^{\prime },a_2^{\prime },\cdots ,a_n^{\prime }),{\mathbf{b}}_p=(b_1^{\prime },b_2^{\prime },\cdots ,b_n^{\prime }),a_u^{\prime }>0,b_u^{\prime }>0$使不等式(C1)不成立，即
$$\begin{array}{r}{\left[\sum _{u=1}^n(a_u^{\prime }+b_u^{\prime }{)}^p\right]}^{\frac{1}{p}}>{\left[\sum _{u=1}^n(a_u^{\prime }{)}^p\right]}^{\frac{1}{p}}+{\left[\sum _{u=1}^n(b_u^{\prime }{)}^p\right]}^{\frac{1}{p}}\end{array}\text{\hspace{1em}(C4)}$$
令$x_{iu}^{\prime }=a_u^{\prime },x_{ju}^{\prime }=-b_u^{\prime }$
$$\begin{array}{r}{\left[\sum _{u=1}^n|x_{iu}^{\prime }-x_{ju}^{\prime }{|}^p\right]}^{\frac{1}{p}}>{\left[\sum _{u=1}^n|x_{iu}^{\prime }{|}^p\right]}^{\frac{1}{p}}+{\left[\sum _{u=1}^n|-x_{ju}^{\prime }{|}^p\right]}^{\frac{1}{p}}\end{array}\text{\hspace{1em}(C5)}$$
比较不等式(C5)与不等式(C3)知，当$0<p<1$时，直递性不成立。

由（1）（2）（3）即得结论。

有了“点间的距离”，即可用“点间的距离”定义“集合间的距离”，如图C.1所示。

$(a)$ 点$\mathbf{x}$到集合$Z$的距离
$$\mathrm{dist}(\mathbf{x},Z)=\underset{\mathbf{z}}{\min }||\mathbf{x}-\mathbf{z}|{|}_2$$
$(b)$ 集合$X$到集合$Z$的距离（最小距离），【西瓜书式(9.41)】定义
$${\mathrm{dist}}_{\min }(X,Z)=\underset{\mathbf{x}}{\min }\mathrm{dist}(\mathbf{x},Z)=\underset{\mathbf{x},\mathbf{z}}{\min }||\mathbf{x}-\mathbf{z}|{|}_2$$
$(c)$ 集合$X$到集合$Z$的距离（最大距离），【西瓜书式(9.42)】定义
$${\mathrm{dist}}_{\max }(X,Z)=\underset{\mathbf{x}}{\max }\mathrm{dist}(\mathbf{x},Z)=\underset{\mathbf{x}}{\max }\underset{\mathbf{z}}{\min }||\mathbf{x}-\mathbf{z}|{|}_2$$
还可以定义平均距离【西瓜书式(9.43)】${\mathrm{dist}}_{\mathrm{avg}}(X,Z)$；
$(d)$]集合$X$到集合$Z$的“有向距离”$$\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Z)=\underset{\mathbf{x}}{\max }\underset{\mathbf{z}}{\min }||\mathbf{x}-\mathbf{z}|{|}_2$$
$(e)$]集合$X$到集合$Z$的豪斯多夫距离（两“有向距离”中最大者）
$$\begin{array}{r}\mathrm{dis}{\mathrm{t}}_{\mathrm{H}}(X,Z)=\max (\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Z),\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Z,X))\end{array}\text{\hspace{1em}(C6)}$$

下面我们证明豪斯多夫距离满足距离的“四性”要求：

非负性、对称性和同一性显然成立，关键是证直递性。

由欧氏距离性质有
$$\begin{array}{r}||\mathbf{x}-\mathbf{z}||⩽||\mathbf{x}-\mathbf{y}||+||\mathbf{y}-\mathbf{z}||\end{array}\text{\hspace{1em}(C7)}$$
对于给定的$\mathbf{x}$，取${\mathbf{y}}^{\prime }=\underset{\mathbf{y}}{\mathrm{argmin}}||\mathbf{x}-\mathbf{y}||$，则有
$$\begin{array}{rl}||\mathbf{x}-\mathbf{z}||& ⩽||\mathbf{x}-{\mathbf{y}}^{\prime }||+||{\mathbf{y}}^{\prime }-\mathbf{z}||\\ & =\underset{\mathbf{y}}{\min }||\mathbf{x}-\mathbf{y}||+||{\mathbf{y}}^{\prime }-\mathbf{z}||\end{array}\text{\hspace{1em}(C8)}$$
两边取$\underset{\mathbf{z}}{\min }$，则有
$$\begin{array}{rl}\underset{\mathbf{z}}{\min }||\mathbf{x}-\mathbf{z}||& ⩽\underset{\mathbf{z}}{\min }[\underset{\mathbf{y}}{\min }||\mathbf{x}-\mathbf{y}||+||{\mathbf{y}}^{\prime }-\mathbf{z}||]\\ & =\underset{\mathbf{y}}{\min }||\mathbf{x}-\mathbf{y}||+\underset{\mathbf{z}}{\min }||{\mathbf{y}}^{\prime }-\mathbf{z}||\text{（由式(01)）}\end{array}\text{\hspace{1em}(C9)}$$
其中，利用数学常识：
$$\begin{array}{rl}\min (a(x)+b)& =\min a(x)+b\\ \min (a(x)+b(x))& ⩾\min (a(x)+\min b(x))\\ & =\min a(x)+\min b(x)\text{（由式(01)）}\\ \max (a(x)+b)& =\max a(x)+b\\ \max (a(x)+b(x))& ⩽\max (a(x)+\max b(x))\\ & =\max a(x)+\max b(x)\text{（由式(03)）}\end{array}\text{\hspace{1em}(01)(02)(03)(04)}$$

对式(C9)两边取$\underset{\mathbf{x}}{\max }$（其中${\mathbf{y}}^{\prime }$是$\mathbf{x}$的函数），则有
$$\begin{array}{rl}& \underset{\mathbf{x}}{\max }\underset{\mathbf{z}}{\min }||\mathbf{x}-\mathbf{z}||\\ & ⩽\underset{\mathbf{x}}{\max }\underset{\mathbf{y}}{\min }||\mathbf{x}-\mathbf{y}||+\underset{\mathbf{x}}{\max }\underset{\mathbf{z}}{\min }||{\mathbf{y}}^{\prime }-\mathbf{z}||\text{（由式(04)）}\\ & =\underset{\mathbf{x}}{\max }\underset{\mathbf{y}}{\min }||\mathbf{x}-\mathbf{y}||+\underset{{\mathbf{y}}^{\prime }}{\max }\underset{\mathbf{z}}{\min }||{\mathbf{y}}^{\prime }-\mathbf{z}||\text{（下式因{y′}⊂{y}）}\\ & ⩽\underset{\mathbf{x}}{\max }\underset{\mathbf{y}}{\min }||\mathbf{x}-\mathbf{y}||+\underset{\mathbf{y}}{\max }\underset{\mathbf{z}}{\min }||{\mathbf{y}}^{\prime }-\mathbf{z}||\end{array}\text{\hspace{1em}(C10)}$$

由$\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}$的定义，式(C10)即得$\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}$的直递性：
$$\begin{array}{r}\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Z)⩽\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Y)+\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,Z)\end{array}\text{\hspace{1em}(C11)}$$
故有
$$\begin{array}{r}\{\begin{array}{l}\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Y)+\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,Z)⩾\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Z)\\ \mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Z,Y)+\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,X)⩾\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Z,X)\end{array}\end{array}\text{\hspace{1em}(C12)}$$

对于两数的$\max$有
$$\begin{array}{rl}\max (a,b)& =\frac{a+b}{2}+\frac{|a-b|}{2}\end{array}\text{\hspace{1em}(C13)}$$
又$|a+a^{\prime }-b-b^{\prime }|⩽|a-b|+|a^{\prime }-b^{\prime }|$，由式(C13)有
$$\begin{array}{rl}\max (a+a^{\prime },b+b^{\prime })& =\frac{a+b+a^{\prime }+b^{\prime }}{2}+\frac{|a+a^{\prime }-b-b^{\prime }|}{2}\\ & ⩽\frac{a+b+a^{\prime }+b^{\prime }}{2}+\frac{|a-b|+|a^{\prime }-b^{\prime }|}{2}\\ & =\frac{a+b}{2}+\frac{|a-b|}{2}+\frac{a^{\prime }+b^{\prime }}{2}+\frac{|a^{\prime }-b^{\prime }|}{2}\\ & =\max (a,b)+\max (a^{\prime },b^{\prime })\end{array}\text{\hspace{1em}(C14)}$$
注：通过数学归纳法，该式(C14)易推广到两组数（$n$对）的情形。

又由该距离的定义，有
$$\begin{array}{rl}& \mathrm{dis}{\mathrm{t}}_{\mathrm{H}}(X,Y)+\mathrm{dis}{\mathrm{t}}_{\mathrm{H}}(Y,Z)\\ & =[\max (\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Y),\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,X))]+[\max (\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,Z),\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Z,Y))]\end{array}\text{\hspace{1em}(C15)}$$
将式(C15)右侧的四个$\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}$依次视为$a,b,a^{\prime },b^{\prime }$，则由式(C14)、式(C12)有
$$\begin{array}{rl}\text{式(C15)右边}& ⩾\max (\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Y)+\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,Z),\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Z,Y)+\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Y,X))\\ & ⩾\max (\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(X,Z),\mathrm{dis}{\mathrm{t}}_{\mathrm{h}}(Z,X))\\ & =\mathrm{dis}{\mathrm{t}}_{\mathrm{H}}(X,Z)\end{array}\text{\hspace{1em}(C16)}$$
连接式(C15)与式(C16)即为豪斯多夫距离的直递性。

上述关于闵可夫斯基距离和豪斯多夫距离的直递性证明是不是很有技巧性和趣味性？

对于无序属性以及有序与无序混合分别定义了距离【西瓜书式(9.21)】和【西瓜书式(9.22)】，还可以考虑对不同属性的重要性进行加权【西瓜书式(9.23)】。

范数

距离是两点之间的（公式中含有这两点的坐标），如果我们将一个点固定在原点，则相应公式就变为只含一个点（向量）了，称为向量的范数。 $n$维向量$\mathbf{x}=(x_1;x_2;\cdots ;x_u;\cdots ;x_n)$的常用范数
$$\begin{array}{rl}& \text{Lp：}{\Vert \mathbf{x}\Vert }_p={\left((\sum _{u=1}^n|x_u{|}^p)\right)}^{\frac{1}{p}}\\ \text{特别地：}& \\ & \text{L2：}\Vert \mathbf{x}{\Vert }_2=\sqrt{\left(\sum _{u=1}^n|x_u{|}^2\right)}\\ & \text{L1：}\Vert \mathbf{x}{\Vert }_1=\sum _{u=1}^n|x_u|\end{array}\text{\hspace{1em}(C17)(C18)(C19)}$$

上述范数分别对应于两点间的闵可夫斯基距离的不同情况【西瓜书式(9.18)$\sim$(9.20)】，其中，欧几里得范数$L_2$对应欧几里得距离（欧氏距离）。

上述范数是由距离公式类比出的，下面进一步对向量范数进行扩充（与距离无关）：
$$\begin{array}{rl}& \text{L∞：}\Vert \mathbf{x}{\Vert }_{\infty }=\underset{1⩽u⩽n}{\max }|x_u|\\ & \text{L−∞：}\Vert \mathbf{x}{\Vert }_{-\infty }=\underset{1⩽u⩽n}{\min }|x_u|\\ & \text{L0：}\Vert \mathbf{x}{\Vert }_0=\sum _{u=1}^n\mathbb{I}(x_u\ne 0)\text{（即非零分量的个数）}\end{array}\text{\hspace{1em}(C20)(C21)(C22)}$$

向量范数还可以推广到矩阵：通过把矩阵张成向量来定义，如， 由向量的$L_2$范数定义矩阵$\mathbf{A}$的Frobenius范数为
$$\begin{array}{r}\Vert \mathbf{A}{\Vert }_F=\sqrt{\left(\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}^2\right)}\end{array}\text{\hspace{1em}(C23)}$$
即为【西瓜书附录式(A.15)】。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：6、指示函数及应用（将分段函数表达成一个式子的技术）
下一篇：8、协方差矩阵的特征值