聚类的相似度通常用距离来刻划,距离又分为“(度量)距离”和“非度量距离”,“度量距离”由四条基本性质而“非度量距离”少满足一条(即不满足直递性)。
距离是两点之间的(公式中含有这两点的坐标),如果我们将一个点固定在原点,则相应公式就变为只含一个点(向量)了,称为向量的范数。
有趣的距离与范数
距离
聚类的相似度通常用距离来刻划,距离又分为“(度量)距离”和“非度量距离”,“度量距离”由四条基本性质(【西瓜书式(9.14) ∼ \,\thicksim ∼(9.17)】定义的“四性”)来刻画,而“非度量距离”少满足一条(即不满足直递性),如,【西瓜书图9.1】示例。
欧氏距离是我们所熟悉的,将其推广到任意正数的闵可夫斯基距离:
(i)p p ⩾ 1 p\geqslant 1 p⩾1,即【西瓜书式(9.18) ∼ \,\thicksim ∼(9.20)】,是度量距离
(ii) 0 < p < 1 0<p< 1 0<p<1,是非度量距离
下面我们证明闵可夫斯基距离满足相关性质要求:
(1)不管 0 < p < 1 0<p<1 0<p<1还是 p ⩾ 1 p\geqslant 1 p⩾1,显然满足非负性、同一性和对称性。
(2) p ⩾ 1 p\geqslant 1 p⩾1时满足直递性
证明中涉及到闵可夫斯基不等式:
[
∑
u
=
1
n
(
a
u
+
b
u
)
p
]
1
p
⩽
[
∑
u
=
1
n
a
u
p
]
1
p
+
[
∑
u
=
1
n
b
u
p
]
1
p
\begin{align} \left[\sum_{u=1}^n(a_u+b_u)^p\right]^{\frac{1}{p}}\leqslant \left[\sum_{u=1}^na_u^p\right]^{\frac{1}{p}}+\left[\sum_{u=1}^nb_u^p\right]^{\frac{1}{p}} \tag{C1} \end{align}
[u=1∑n(au+bu)p]p1⩽[u=1∑naup]p1+[u=1∑nbup]p1(C1)
其中,
a
u
>
0
,
b
u
>
0
,
p
⩾
1
a_u>0,b_u>0,p\geqslant 1
au>0,bu>0,p⩾1。
该不等式的证明需要用到较难的数学知识,在网上易查到它的证明,这里仅作引用。
∣
x
i
u
−
x
j
u
∣
=
∣
x
i
u
−
x
k
u
+
x
k
u
−
x
j
u
∣
⩽
∣
x
i
u
−
x
k
u
∣
+
∣
x
k
u
−
x
j
u
∣
∣
x
i
u
−
x
j
u
∣
p
⩽
(
∣
x
i
u
−
x
k
u
∣
+
∣
x
k
u
−
x
j
u
∣
)
p
∑
u
=
1
n
∣
x
i
u
−
x
j
u
∣
p
⩽
∑
u
=
1
n
(
∣
x
i
u
−
x
k
u
∣
+
∣
x
k
u
−
x
j
u
∣
)
p
[
∑
u
=
1
n
∣
x
i
u
−
x
j
u
∣
p
]
1
p
⩽
[
∑
u
=
1
n
(
∣
x
i
u
−
x
k
u
∣
+
∣
x
k
u
−
x
j
u
∣
)
p
]
1
p
\begin{align} |x_{iu}-x_{ju}| & =|x_{iu}-x_{ku}+x_{ku}-x_{ju}|\notag \\ & \leqslant |x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|\notag \\ |x_{iu}-x_{ju}|^p & \leqslant( |x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|)^p\notag \\ \sum_{u=1}^n|x_{iu}-x_{ju}|^p & \leqslant\sum_{u=1}^n( |x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|)^p\notag \\ \left[\sum_{u=1}^n|x_{iu}-x_{ju}|^p \right]^{\frac{1}{p}} & \leqslant \left[\sum_{u=1}^n( |x_{iu}-x_{ku}|+|x_{ku}-x_{ju}|)^p\right]^{\frac{1}{p}} \tag{C2} \end{align}
∣xiu−xju∣∣xiu−xju∣pu=1∑n∣xiu−xju∣p[u=1∑n∣xiu−xju∣p]p1=∣xiu−xku+xku−xju∣⩽∣xiu−xku∣+∣xku−xju∣⩽(∣xiu−xku∣+∣xku−xju∣)p⩽u=1∑n(∣xiu−xku∣+∣xku−xju∣)p⩽[u=1∑n(∣xiu−xku∣+∣xku−xju∣)p]p1(C2)
当 p ⩾ 1 p\geqslant 1 p⩾1时,设 a u = ∣ x i u − x k u ∣ , b u = ∣ x k u − x j u ∣ a_u=|x_{iu}-x_{ku}|,b_u=|x_{ku}-x_{ju}| au=∣xiu−xku∣,bu=∣xku−xju∣,对式(C2)右侧应用式(C1),即得直递性。
(3)当 0 < p < 1 0<p<1 0<p<1时,直递性不成立
令
x
i
u
′
=
x
i
u
−
x
k
u
,
x
j
u
′
=
x
j
u
−
x
k
u
,
x_{iu}'=x_{iu}-x_{ku},\,x_{ju}'=x_{ju}-x_{ku},
xiu′=xiu−xku,xju′=xju−xku,直递性等价于:
[
∑
u
=
1
n
∣
x
i
u
′
−
x
j
u
′
∣
p
]
1
p
⩽
[
∑
u
=
1
n
∣
x
i
u
′
∣
p
]
1
p
+
[
∑
u
=
1
n
∣
x
j
u
′
∣
p
]
1
p
\begin{align} \left[\sum_{u=1}^n|x_{iu}'-x_{ju}'|^p \right]^{\frac{1}{p}} & \leqslant \left[\sum_{u=1}^n|x_{iu}'|^p\right]^{\frac{1}{p}}+ \left[\sum_{u=1}^n|x_{ju}'|^p\right]^{\frac{1}{p}} \tag{C3} \end{align}
[u=1∑n∣xiu′−xju′∣p]p1⩽[u=1∑n∣xiu′∣p]p1+[u=1∑n∣xju′∣p]p1(C3)
由于当
0
<
p
<
1
0<p<1
0<p<1时,闵可夫斯基不等式(C1)不成立,即一定存在与
p
p
p相关的
a
p
=
(
a
1
′
,
a
2
′
,
⋯
,
a
n
′
)
,
b
p
=
(
b
1
′
,
b
2
′
,
⋯
,
b
n
′
)
,
a
u
′
>
0
,
b
u
′
>
0
\boldsymbol{a}_p=(a'_1,a'_2,\cdots,a'_n),\, \boldsymbol{b}_p=(b'_1,b'_2,\cdots,b'_n),\, a'_u>0,b'_u>0
ap=(a1′,a2′,⋯,an′),bp=(b1′,b2′,⋯,bn′),au′>0,bu′>0使不等式(C1)不成立,即
[
∑
u
=
1
n
(
a
u
′
+
b
u
′
)
p
]
1
p
>
[
∑
u
=
1
n
(
a
u
′
)
p
]
1
p
+
[
∑
u
=
1
n
(
b
u
′
)
p
]
1
p
\begin{align} \left[\sum_{u=1}^n(a'_u+b'_u)^p\right]^{\frac{1}{p}} > \left[\sum_{u=1}^n(a'_u)^p\right]^{\frac{1}{p}}+\left[\sum_{u=1}^n(b'_u)^p\right]^{\frac{1}{p}} \tag{C4} \end{align}
[u=1∑n(au′+bu′)p]p1>[u=1∑n(au′)p]p1+[u=1∑n(bu′)p]p1(C4)
令
x
i
u
′
=
a
u
′
,
x
j
u
′
=
−
b
u
′
x_{iu}'=a'_u,\, x_{ju}'=-b'_u
xiu′=au′,xju′=−bu′
[
∑
u
=
1
n
∣
x
i
u
′
−
x
j
u
′
∣
p
]
1
p
>
[
∑
u
=
1
n
∣
x
i
u
′
∣
p
]
1
p
+
[
∑
u
=
1
n
∣
−
x
j
u
′
∣
p
]
1
p
\begin{align} \left[\sum_{u=1}^n|x_{iu}'-x_{ju}'|^p\right]^{\frac{1}{p}} > \left[\sum_{u=1}^n|x_{iu}'|^p\right]^{\frac{1}{p}}+\left[\sum_{u=1}^n|-x_{ju}'|^p\right]^{\frac{1}{p}} \tag{C5} \end{align}
[u=1∑n∣xiu′−xju′∣p]p1>[u=1∑n∣xiu′∣p]p1+[u=1∑n∣−xju′∣p]p1(C5)
比较不等式(C5)与不等式(C3)知,当
0
<
p
<
1
0<p<1
0<p<1时,直递性不成立。
由(1)(2)(3)即得结论。
有了“点间的距离”,即可用“点间的距离”定义“集合间的距离”,如图C.1所示。
(
a
)
(a)
(a) 点
x
\boldsymbol{x}
x到集合
Z
Z
Z的距离
d
i
s
t
(
x
,
Z
)
=
min
z
∣
∣
x
−
z
∣
∣
2
\mathrm{dist}(\boldsymbol{x},Z)=\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{x}-\boldsymbol{z}||_2
dist(x,Z)=zmin∣∣x−z∣∣2
(
b
)
(b)
(b) 集合
X
X
X到集合
Z
Z
Z的距离(最小距离),【西瓜书式(9.41)】定义
d
i
s
t
min
(
X
,
Z
)
=
min
x
d
i
s
t
(
x
,
Z
)
=
min
x
,
z
∣
∣
x
−
z
∣
∣
2
\mathrm{dist}_{\min}(X,Z)=\mathop{\min}\limits_{\boldsymbol{x}}\mathrm{dist}(\boldsymbol{x},Z)=\mathop{\min}\limits_{\boldsymbol{x},\boldsymbol{z}}||\boldsymbol{x}-\boldsymbol{z}||_2
distmin(X,Z)=xmindist(x,Z)=x,zmin∣∣x−z∣∣2
(
c
)
(c)
(c) 集合
X
X
X到集合
Z
Z
Z的距离(最大距离),【西瓜书式(9.42)】定义
d
i
s
t
max
(
X
,
Z
)
=
max
x
d
i
s
t
(
x
,
Z
)
=
max
x
min
z
∣
∣
x
−
z
∣
∣
2
\mathrm{dist}_{\max}(X,Z)=\mathop{\max}\limits_{\boldsymbol{x}}\mathrm{dist}(\boldsymbol{x},Z)=\mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{x}-\boldsymbol{z}||_2
distmax(X,Z)=xmaxdist(x,Z)=xmaxzmin∣∣x−z∣∣2
还可以定义平均距离【西瓜书式(9.43)】
d
i
s
t
a
v
g
(
X
,
Z
)
\mathrm{dist}_{\mathrm{avg}}(X,Z)
distavg(X,Z);
(
d
)
(d)
(d)]集合
X
X
X到集合
Z
Z
Z的“有向距离”
d
i
s
t
h
(
X
,
Z
)
=
max
x
min
z
∣
∣
x
−
z
∣
∣
2
\mathrm{dist_h}(X,Z)=\mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{x}-\boldsymbol{z}||_2
disth(X,Z)=xmaxzmin∣∣x−z∣∣2
(
e
)
(e)
(e)]集合
X
X
X到集合
Z
Z
Z的豪斯多夫距离(两“有向距离”中最大者)
d
i
s
t
H
(
X
,
Z
)
=
max
(
d
i
s
t
h
(
X
,
Z
)
,
d
i
s
t
h
(
Z
,
X
)
)
\begin{align} \mathrm{dist_H}(X,Z)=\max(\mathrm{dist_h}(X,Z),\mathrm{dist_h}(Z,X)) \tag{C6} \end{align}
distH(X,Z)=max(disth(X,Z),disth(Z,X))(C6)
下面我们证明豪斯多夫距离满足距离的“四性”要求:
非负性、对称性和同一性显然成立,关键是证直递性。
由欧氏距离性质有
∣
∣
x
−
z
∣
∣
⩽
∣
∣
x
−
y
∣
∣
+
∣
∣
y
−
z
∣
∣
\begin{align} ||\boldsymbol{x}-\boldsymbol{z}||\leqslant ||\boldsymbol{x}-\boldsymbol{y}||+||\boldsymbol{y}-\boldsymbol{z}|| \tag{C7} \end{align}
∣∣x−z∣∣⩽∣∣x−y∣∣+∣∣y−z∣∣(C7)
对于给定的
x
\boldsymbol{x}
x,取
y
′
=
arg
min
y
∣
∣
x
−
y
∣
∣
\boldsymbol{y}'=\mathop{\arg\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||
y′=yargmin∣∣x−y∣∣,则有
∣
∣
x
−
z
∣
∣
⩽
∣
∣
x
−
y
′
∣
∣
+
∣
∣
y
′
−
z
∣
∣
=
min
y
∣
∣
x
−
y
∣
∣
+
∣
∣
y
′
−
z
∣
∣
\begin{align} ||\boldsymbol{x}-\boldsymbol{z}|| & \leqslant ||\boldsymbol{x}-\boldsymbol{y}'||+||\boldsymbol{y}'-\boldsymbol{z}||\notag \\ & =\mathop{\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||+||\boldsymbol{y}'-\boldsymbol{z}|| \tag{C8} \end{align}
∣∣x−z∣∣⩽∣∣x−y′∣∣+∣∣y′−z∣∣=ymin∣∣x−y∣∣+∣∣y′−z∣∣(C8)
两边取
min
z
\mathop{\min}\limits_{\boldsymbol{z}}
zmin,则有
min
z
∣
∣
x
−
z
∣
∣
⩽
min
z
[
min
y
∣
∣
x
−
y
∣
∣
+
∣
∣
y
′
−
z
∣
∣
]
=
min
y
∣
∣
x
−
y
∣
∣
+
min
z
∣
∣
y
′
−
z
∣
∣
(由式(01))
\begin{align} \mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{x}-\boldsymbol{z}|| & \leqslant \mathop{\min}\limits_{\boldsymbol{z}}[\mathop{\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||+||\boldsymbol{y}'-\boldsymbol{z}||]\notag \\ & =\mathop{\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||+\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{y}'-\boldsymbol{z}||\quad \text{(由式(01))} \tag{C9} \end{align}
zmin∣∣x−z∣∣⩽zmin[ymin∣∣x−y∣∣+∣∣y′−z∣∣]=ymin∣∣x−y∣∣+zmin∣∣y′−z∣∣(由式(01))(C9)
其中,利用数学常识:
min
(
a
(
x
)
+
b
)
=
min
a
(
x
)
+
b
min
(
a
(
x
)
+
b
(
x
)
)
⩾
min
(
a
(
x
)
+
min
b
(
x
)
)
=
min
a
(
x
)
+
min
b
(
x
)
(由式(01))
max
(
a
(
x
)
+
b
)
=
max
a
(
x
)
+
b
max
(
a
(
x
)
+
b
(
x
)
)
⩽
max
(
a
(
x
)
+
max
b
(
x
)
)
=
max
a
(
x
)
+
max
b
(
x
)
(由式(03))
\begin{align} \min( a(x)+ b) & = \min a(x)+b \tag{01} \\ \min(a(x)+b(x)) & \geqslant \min(a(x)+\min b(x))\notag \\ & = \min a(x)+\min b(x)\quad \text{(由式(01))} \tag{02} \\ \max( a(x)+ b) & = \max a(x)+b \tag{03} \\ \max(a(x)+b(x)) & \leqslant \max(a(x)+\max b(x))\notag \\ & = \max a(x)+\max b(x)\quad \text{(由式(03))} \tag{04} \end{align}
min(a(x)+b)min(a(x)+b(x))max(a(x)+b)max(a(x)+b(x))=mina(x)+b⩾min(a(x)+minb(x))=mina(x)+minb(x)(由式(01))=maxa(x)+b⩽max(a(x)+maxb(x))=maxa(x)+maxb(x)(由式(03))(01)(02)(03)(04)
对式(C9)两边取
max
x
\mathop{\max}\limits_{\boldsymbol{x}}
xmax(其中
y
′
\boldsymbol{y}'
y′是
x
\boldsymbol{x}
x的函数),则有
max
x
min
z
∣
∣
x
−
z
∣
∣
⩽
max
x
min
y
∣
∣
x
−
y
∣
∣
+
max
x
min
z
∣
∣
y
′
−
z
∣
∣
(由式(04))
=
max
x
min
y
∣
∣
x
−
y
∣
∣
+
max
y
′
min
z
∣
∣
y
′
−
z
∣
∣
(下式因
{
y
′
}
⊂
{
y
}
)
⩽
max
x
min
y
∣
∣
x
−
y
∣
∣
+
max
y
min
z
∣
∣
y
′
−
z
∣
∣
\begin{align} &\quad \mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{x}-\boldsymbol{z}||\notag\\ & \leqslant \mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||+\mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{y}'-\boldsymbol{z}||\quad \text{(由式(04))}\notag \\ & = \mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||+\mathop{\max}\limits_{\boldsymbol{y}'}\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{y}'-\boldsymbol{z}||\quad \text{(下式因$\{\boldsymbol{y}'\}\subset \{\boldsymbol{y}\}$)}\notag \\ & \leqslant \mathop{\max}\limits_{\boldsymbol{x}}\mathop{\min}\limits_{\boldsymbol{y}}||\boldsymbol{x}-\boldsymbol{y}||+\mathop{\max}\limits_{\boldsymbol{y}}\mathop{\min}\limits_{\boldsymbol{z}}||\boldsymbol{y}'-\boldsymbol{z}||\quad \tag{C10} \end{align}
xmaxzmin∣∣x−z∣∣⩽xmaxymin∣∣x−y∣∣+xmaxzmin∣∣y′−z∣∣(由式(04))=xmaxymin∣∣x−y∣∣+y′maxzmin∣∣y′−z∣∣(下式因{y′}⊂{y})⩽xmaxymin∣∣x−y∣∣+ymaxzmin∣∣y′−z∣∣(C10)
由
d
i
s
t
h
\mathrm{dist_h}
disth的定义,式(C10)即得
d
i
s
t
h
\mathrm{dist_h}
disth的直递性:
d
i
s
t
h
(
X
,
Z
)
⩽
d
i
s
t
h
(
X
,
Y
)
+
d
i
s
t
h
(
Y
,
Z
)
\begin{align} \mathrm{dist_h}(X,Z)\leqslant \mathrm{dist_h}(X,Y)+\mathrm{dist_h}(Y,Z) \tag{C11} \end{align}
disth(X,Z)⩽disth(X,Y)+disth(Y,Z)(C11)
故有
{
d
i
s
t
h
(
X
,
Y
)
+
d
i
s
t
h
(
Y
,
Z
)
⩾
d
i
s
t
h
(
X
,
Z
)
d
i
s
t
h
(
Z
,
Y
)
+
d
i
s
t
h
(
Y
,
X
)
⩾
d
i
s
t
h
(
Z
,
X
)
\begin{align} \begin{cases} \mathrm{dist_h}(X,Y)+\mathrm{dist_h}(Y,Z)\geqslant\mathrm{dist_h}(X,Z) \\ \mathrm{dist_h}(Z,Y)+\mathrm{dist_h}(Y,X)\geqslant \mathrm{dist_h}(Z,X) \\ \end{cases} \tag{C12} \end{align}
{disth(X,Y)+disth(Y,Z)⩾disth(X,Z)disth(Z,Y)+disth(Y,X)⩾disth(Z,X)(C12)
对于两数的
max
\max
max有
max
(
a
,
b
)
=
a
+
b
2
+
∣
a
−
b
∣
2
\begin{align} \max(a,b) & =\frac{a+b}{2}+\frac{|a-b|}{2}\tag{C13} \end{align}
max(a,b)=2a+b+2∣a−b∣(C13)
又
∣
a
+
a
′
−
b
−
b
′
∣
⩽
∣
a
−
b
∣
+
∣
a
′
−
b
′
∣
|a+a'-b-b'|\leqslant |a-b|+|a'-b'|
∣a+a′−b−b′∣⩽∣a−b∣+∣a′−b′∣,由式(C13)有
max
(
a
+
a
′
,
b
+
b
′
)
=
a
+
b
+
a
′
+
b
′
2
+
∣
a
+
a
′
−
b
−
b
′
∣
2
⩽
a
+
b
+
a
′
+
b
′
2
+
∣
a
−
b
∣
+
∣
a
′
−
b
′
∣
2
=
a
+
b
2
+
∣
a
−
b
∣
2
+
a
′
+
b
′
2
+
∣
a
′
−
b
′
∣
2
=
max
(
a
,
b
)
+
max
(
a
′
,
b
′
)
\begin{align} \max(a+a',b+b') & =\frac{a+b+a'+b'}{2}+\frac{|a+a'-b-b'|}{2}\notag \\ & \leqslant \frac{a+b+a'+b'}{2}+\frac{|a-b|+|a'-b'|}{2}\notag \\ & = \frac{a+b}{2}+\frac{|a-b|}{2}+\frac{a'+b'}{2}+\frac{|a'-b'|}{2}\notag \\ & =\max(a,b)+\max(a',b') \tag{C14} \end{align}
max(a+a′,b+b′)=2a+b+a′+b′+2∣a+a′−b−b′∣⩽2a+b+a′+b′+2∣a−b∣+∣a′−b′∣=2a+b+2∣a−b∣+2a′+b′+2∣a′−b′∣=max(a,b)+max(a′,b′)(C14)
注:通过数学归纳法,该式(C14)易推广到两组数(
n
n
n对)的情形。
又由该距离的定义,有
d
i
s
t
H
(
X
,
Y
)
+
d
i
s
t
H
(
Y
,
Z
)
=
[
max
(
d
i
s
t
h
(
X
,
Y
)
,
d
i
s
t
h
(
Y
,
X
)
)
]
+
[
max
(
d
i
s
t
h
(
Y
,
Z
)
,
d
i
s
t
h
(
Z
,
Y
)
)
]
\begin{align} & \mathrm{dist_H}(X,Y)+\mathrm{dist_H}(Y,Z)\notag \\ & \ =[\max(\mathrm{dist_h}(X,Y),\mathrm{dist_h}(Y,X))]+[\max(\mathrm{dist_h}(Y,Z),\mathrm{dist_h}(Z,Y))] \tag{C15} \end{align}
distH(X,Y)+distH(Y,Z) =[max(disth(X,Y),disth(Y,X))]+[max(disth(Y,Z),disth(Z,Y))](C15)
将式(C15)右侧的四个
d
i
s
t
h
\mathrm{dist_h}
disth依次视为
a
,
b
,
a
′
,
b
′
a,b,a',b'
a,b,a′,b′,则由式(C14)、式(C12)有
式(C15)右边
⩾
max
(
d
i
s
t
h
(
X
,
Y
)
+
d
i
s
t
h
(
Y
,
Z
)
,
d
i
s
t
h
(
Z
,
Y
)
+
d
i
s
t
h
(
Y
,
X
)
)
⩾
max
(
d
i
s
t
h
(
X
,
Z
)
,
d
i
s
t
h
(
Z
,
X
)
)
=
d
i
s
t
H
(
X
,
Z
)
\begin{align} \text{式(C15)右边} & \geqslant \max(\mathrm{dist_h}(X,Y)+\mathrm{dist_h}(Y,Z),\mathrm{dist_h}(Z,Y)+\mathrm{dist_h}(Y,X))\notag \\ & \geqslant \max(\mathrm{dist_h}(X,Z),\mathrm{dist_h}(Z,X))\notag \\ & =\mathrm{dist_H}(X,Z) \tag{C16} \end{align}
式(C15)右边⩾max(disth(X,Y)+disth(Y,Z),disth(Z,Y)+disth(Y,X))⩾max(disth(X,Z),disth(Z,X))=distH(X,Z)(C16)
连接式(C15)与式(C16)即为豪斯多夫距离的直递性。
上述关于闵可夫斯基距离和豪斯多夫距离的直递性证明是不是很有技巧性和趣味性?
对于无序属性以及有序与无序混合分别定义了距离【西瓜书式(9.21)】和【西瓜书式(9.22)】,还可以考虑对不同属性的重要性进行加权【西瓜书式(9.23)】。
范数
距离是两点之间的(公式中含有这两点的坐标),如果我们将一个点固定在原点,则相应公式就变为只含一个点(向量)了,称为向量的范数。
n
n
n维向量
x
=
(
x
1
;
x
2
;
⋯
;
x
u
;
⋯
;
x
n
)
\boldsymbol{x}=(x_1;x_2;\cdots ;x_u;\cdots ;x_n)
x=(x1;x2;⋯;xu;⋯;xn)的常用范数
L
p
:
∥
x
∥
p
=
(
(
∑
u
=
1
n
∣
x
u
∣
p
)
)
1
p
特别地:
L
2
:
∥
x
∥
2
=
(
∑
u
=
1
n
∣
x
u
∣
2
)
L
1
:
∥
x
∥
1
=
∑
u
=
1
n
∣
x
u
∣
\begin{align} & \text{$L_p$:}{\| \boldsymbol{x} \|}_p = \left( (\sum_{u=1}^n|x_u|^p) \right)^{\frac{1}{p}}\tag{C17} \\ \text{特别地:} & \notag \\ & \text{$L_2$:}\| \boldsymbol{x} \|_2 =\sqrt{\left(\sum_{u=1}^n|x_u|^2\right)} \tag{C18} \\ & \text{$L_1$:}\| \boldsymbol{x} \|_1 =\sum_{u=1}^n|x_u|\tag{C19} \end{align}
特别地:Lp:∥x∥p=((u=1∑n∣xu∣p))p1L2:∥x∥2=(u=1∑n∣xu∣2)L1:∥x∥1=u=1∑n∣xu∣(C17)(C18)(C19)
上述范数分别对应于两点间的闵可夫斯基距离的不同情况【西瓜书式(9.18) ∼ \,\thicksim ∼(9.20)】,其中,欧几里得范数 L 2 L_2 L2对应欧几里得距离(欧氏距离)。
上述范数是由距离公式类比出的,下面进一步对向量范数进行扩充(与距离无关):
L
∞
:
∥
x
∥
∞
=
max
1
⩽
u
⩽
n
∣
x
u
∣
L
−
∞
:
∥
x
∥
−
∞
=
min
1
⩽
u
⩽
n
∣
x
u
∣
L
0
:
∥
x
∥
0
=
∑
u
=
1
n
I
(
x
u
≠
0
)
(即非零分量的个数)
\begin{align} & \text{$L_{\infty}$:}\| \boldsymbol{x} \|_{\infty} =\mathop{\max}\limits_{1\leqslant u\leqslant n}\ |x_u| \tag{C20} \\ & \text{$L_{-\infty}$:}\| \boldsymbol{x} \|_{-\infty} =\mathop{\min}\limits_{1\leqslant u\leqslant n}\ |x_u| \tag{C21} \\ & \text{$L_0$:}\| \boldsymbol{x} \|_0 =\sum_{u=1}^n\mathbb{I} (x_u \neq 0)\quad \text{(即非零分量的个数)} \tag{C22} \end{align}
L∞:∥x∥∞=1⩽u⩽nmax ∣xu∣L−∞:∥x∥−∞=1⩽u⩽nmin ∣xu∣L0:∥x∥0=u=1∑nI(xu=0)(即非零分量的个数)(C20)(C21)(C22)
向量范数还可以推广到矩阵:通过把矩阵张成向量来定义,如, 由向量的
L
2
L_2
L2范数定义矩阵
A
\mathbf{A}
A的Frobenius范数为
∥
A
∥
F
=
(
∑
i
=
1
m
∑
j
=
1
n
A
i
j
2
)
\begin{align} \| \mathbf{A} \|_F =\sqrt{\left(\sum_{i=1}^m\sum_{j=1}^nA_{ij}^2\right)} \tag{C23} \end{align}
∥A∥F=(i=1∑mj=1∑nAij2)(C23)
即为【西瓜书附录式(A.15)】。
本文为原创,您可以:
- 点赞(支持博主)
- 收藏(待以后看)
- 转发(他考研或学习,正需要)
- 评论(或讨论)
- 引用(支持原创)
- 不侵权