本篇涉及较多的数学知识与证明技巧,值得有一定基础并希望进一步深造的同学认真琢磨。
定理12.5的证明
本小节以【西瓜书定理12.5】的证明为例,细化证明中用到的一些技巧。
我们先来理解一下【西瓜书定理12.5】: F : Z → [ 0 , 1 ] \mathcal{F} :\mathcal{Z} \to [0,1] F:Z→[0,1]表示函数 f ∈ F f\in \mathcal{F} f∈F的值域为闭区间 [ 0 , 1 ] [0,1] [0,1], f ( z ) f(\boldsymbol{z}) f(z)中含两个变量:一个是自变量 z ∈ Z \boldsymbol{z}\in \mathcal{Z} z∈Z,一个是函数 f ∈ F f \in \mathcal{F} f∈F,对 f ( z ) f(\boldsymbol{z}) f(z)取数学期望 E z \mathbb{E} _{\boldsymbol{z}} Ez能消去变量 z \boldsymbol{z} z,但还有一个变量 f f f,故 E z [ f ( z ) ] \mathbb{E} _{\boldsymbol{z}}[f(\boldsymbol{z})] Ez[f(z)]是一个泛函数(注:以函数为变量的函数称为泛函,为区别,泛函在格式上是以中括号“[函数变量]”取代小括号“(变量)”,即这里用 E z [ f ( z ) ] \mathbb{E} _{\boldsymbol{z}}[f(\boldsymbol{z})] Ez[f(z)],而不是用 E z ( f ( z ) ) \mathbb{E} _{\boldsymbol{z}}(f(\boldsymbol{z})) Ez(f(z)))。
该定理给出了这个泛函在概率意义下的界。
为便于叙述,我们将【西瓜书p.281 ∼ \,\thicksim ∼p.282】的“式子行”从上到下编号:(1)、(2)、(3)、 ⋯ \cdots ⋯,如,式子“ ⩽ 1 m \leqslant \frac{1}{m} ⩽m1”的编号为(8),请编好号后,再对照阅读。
式(1)和(2)是要证的结论;式(3)和(4)是引入的记号;由(4)直接得(5);
数学中显然有
max
a
(
x
)
+
max
b
(
x
)
⩾
max
a
(
x
)
+
b
(
x
)
\begin{align} \max a(x)+\max b(x) \geqslant \max\ a(x)+b(x) \tag{12.35} \end{align}
maxa(x)+maxb(x)⩾max a(x)+b(x)(12.35)
注:
max
a
(
x
)
+
b
(
x
)
\max\ a(x)+b(x)
max a(x)+b(x)实际上为
max
(
a
(
x
)
+
b
(
x
)
)
\max\ (a(x)+b(x))
max (a(x)+b(x))省去了括号,当
max
(
∗
)
\max\ (*)
max (∗)的左右无其他式子时,常省去括号为
max
∗
\max\ *
max ∗,否则不能省。 对
sup
,
min
,
inf
\sup,\min,\inf
sup,min,inf也类似。
将
max
\max
max换成
sup
\sup
sup也成立,即
sup
a
(
x
)
+
sup
b
(
x
)
⩾
sup
a
(
x
)
+
b
(
x
)
\begin{align} \sup a(x)+\sup b(x) \geqslant \sup\ a(x)+b(x) \tag{12.36} \end{align}
supa(x)+supb(x)⩾sup a(x)+b(x)(12.36)
读者可以得出
min
\min
min及
inf
\inf
inf的相应式子。
取 a ( x ) = E ^ Z − E ^ Z ′ , b ( x ) = E − E ^ Z a(x)=\hat E_Z-\hat E_{Z'},\, b(x)=\mathbb{E} -\hat E_Z a(x)=E^Z−E^Z′,b(x)=E−E^Z,代入式(12.36)中,移项,则得到(6);
设 Z ′ Z' Z′与 Z Z Z只有一个样例不同(前者含 z m ′ z_m' zm′,后者含 z m z_m zm),由此得(7);
根据定理的前提条件知, f f f的值域为 [ 0 , 1 ] [0,1] [0,1],故有(8);
与(8)同理得(9);综合(8)(9)得(10);
取
c
i
=
1
m
c_i=\frac{1}{m}
ci=m1,则(10)说明
Φ
(
Z
)
\Phi(Z)
Φ(Z)满足【西瓜书式(12.7)】成立的条件,故由【西瓜书式(12.7)】有
P
(
Φ
(
Z
)
−
E
Z
Φ
(
Z
)
⩾
ϵ
)
⩽
exp
(
−
2
ϵ
2
∑
i
(
1
m
)
2
)
\begin{align} P(\Phi(Z)-\mathop{\mathbb{E} }\limits_Z\Phi(Z)\geqslant \epsilon )\leqslant \exp(\frac{-2{\epsilon}^2 }{\sum_i(\frac{1}{m})^2}) \tag{12.37} \end{align}
P(Φ(Z)−ZEΦ(Z)⩾ϵ)⩽exp(∑i(m1)2−2ϵ2)(12.37)
令式(12.37)的右边为
δ
\delta
δ,则可解得
ϵ
=
ln
1
δ
2
m
\begin{align} %\epsilon \leqslant \sqrt{\frac{\ln \frac{1}{\delta }}} {2m} \epsilon = \sqrt{\frac{\ln \frac{1}{\delta }} {2m}} \tag{12.38} \end{align}
ϵ=2mlnδ1(12.38)
式(12.37)转化为
P
(
Φ
(
Z
)
−
E
Z
Φ
(
Z
)
⩾
ϵ
)
⩽
δ
P
(
Φ
(
Z
)
−
E
Z
Φ
(
Z
)
⩽
ϵ
)
⩽
P
(
Φ
(
Z
)
−
E
Z
Φ
(
Z
)
<
ϵ
)
=
1
−
P
(
Φ
(
Z
)
−
E
Z
Φ
(
Z
)
⩾
ϵ
)
⩾
1
−
δ
\begin{align} P(\Phi(Z)-\mathop{\mathbb{E} }\limits_Z\Phi(Z)\geqslant \epsilon ) & \leqslant \delta \notag \\ P(\Phi(Z)-\mathop{\mathbb{E} }\limits_Z\Phi(Z)\leqslant \epsilon ) & \leqslant P(\Phi(Z)-\mathop{\mathbb{E} }\limits_Z\Phi(Z)< \epsilon )\notag \\ & =1-P(\Phi(Z)-\mathop{\mathbb{E} }\limits_Z\Phi(Z)\geqslant \epsilon )\notag \\ & \geqslant 1- \delta \tag{12.39} \end{align}
P(Φ(Z)−ZEΦ(Z)⩾ϵ)P(Φ(Z)−ZEΦ(Z)⩽ϵ)⩽δ⩽P(Φ(Z)−ZEΦ(Z)<ϵ)=1−P(Φ(Z)−ZEΦ(Z)⩾ϵ)⩾1−δ(12.39)
其中,
ϵ
\epsilon
ϵ与
δ
\delta
δ的关系由式(12.38)确定。
即 Φ ( Z ) ⩽ E Z Φ ( Z ) + ϵ \Phi(Z)\leqslant \mathop{\mathbb{E} }\limits_Z\Phi(Z)+ \epsilon Φ(Z)⩽ZEΦ(Z)+ϵ至少以 1 − δ 1-\delta 1−δ的概率成立,再结合式(12.38)即为(11);
对(4)式两边取 E Z \mathbb{E} _Z EZ,即得(12);
对(3)式两边取
E
Z
\mathbb{E} _Z
EZ,即
E
Z
E
^
Z
[
f
]
=
1
m
∑
i
=
1
m
E
Z
[
f
(
z
i
)
]
=
1
m
∑
i
=
1
m
E
z
i
[
f
(
z
i
)
]
(由独立性)
=
1
m
E
z
1
[
f
(
z
1
)
]
∑
i
=
1
m
1
(由同分布)
=
E
z
[
f
(
z
)
]
(更换字母)
\begin{align} \mathbb{E}_Z\hat E_Z[f] & =\frac{1}{m}\sum_{i=1}^m\mathbb{E}_Z[f(\boldsymbol{z}_i)]\notag \\ & =\frac{1}{m}\sum_{i=1}^m\mathbb{E}_{\boldsymbol{z}_i}[f(\boldsymbol{z}_i)]\quad\text{(由独立性)}\notag \\ & =\frac{1}{m}\mathbb{E}_{\boldsymbol{z}_1}[f(\boldsymbol{z}_1)]\sum_{i=1}^m1\quad\text{(由同分布)}\notag \\ & =\mathbb{E}_{\boldsymbol{z}}[f(\boldsymbol{z})]\quad\text{(更换字母)} \tag{12.40} \end{align}
EZE^Z[f]=m1i=1∑mEZ[f(zi)]=m1i=1∑mEzi[f(zi)](由独立性)=m1Ez1[f(z1)]i=1∑m1(由同分布)=Ez[f(z)](更换字母)(12.40)
为区别起见,我们调整式(12.40)中的
Z
Z
Z为
Z
′
′
Z''
Z′′(注:【西瓜书】中用的为
Z
′
Z'
Z′,这里使用
Z
′
′
Z''
Z′′以区别于(5)式的
Z
′
Z'
Z′),即
E
Z
′
′
E
^
Z
′
′
[
f
]
=
E
z
[
f
(
z
)
]
\begin{align} \mathbb{E}_{Z''}\hat E_{Z''}[f] & =\mathbb{E}_{\boldsymbol{z}}[f(\boldsymbol{z})] \tag{12.41} \end{align}
EZ′′E^Z′′[f]=Ez[f(z)](12.41)
因常数的期望为常数,以
Z
′
′
Z''
Z′′为变量,则有
E
Z
′
′
E
^
Z
[
f
]
=
E
^
Z
[
f
]
\begin{align} \mathbb{E}_{Z''}\hat E_Z[f]=\hat E_Z[f] \tag{12.42} \end{align}
EZ′′E^Z[f]=E^Z[f](12.42)
式(12.41)、式(12.42)的右侧对应到(12)中,代入(12)即得(13);注意简写形式
E
z
[
f
(
z
)
]
=
E
[
f
(
z
)
]
=
E
[
f
]
\mathbb{E}_{\boldsymbol{z}}[f(\boldsymbol{z})]=\mathbb{E}[f(\boldsymbol{z})]=\mathbb{E}[f]
Ez[f(z)]=E[f(z)]=E[f]
为得(14),先证Jensen不等式【西瓜书式(12.4)】:
由
f
(
x
)
f(x)
f(x)是凸函数,则
f
(
λ
x
1
+
(
1
−
λ
)
x
2
)
⩽
λ
f
(
x
1
)
+
(
1
−
λ
)
f
(
x
2
)
f(\lambda x_1+(1-\lambda )x_2)\leqslant \lambda f(x_1)+(1-\lambda )f(x_2)
f(λx1+(1−λ)x2)⩽λf(x1)+(1−λ)f(x2)
即
f
(
λ
(
x
1
−
x
2
)
+
x
2
)
⩽
λ
(
f
(
x
1
)
−
f
(
x
2
)
)
+
f
(
x
2
)
f(\lambda (x_1-x_2)+x_2)\leqslant \lambda (f(x_1)-f(x_2))+f(x_2)
f(λ(x1−x2)+x2)⩽λ(f(x1)−f(x2))+f(x2)
即
(
x
1
−
x
2
)
f
(
λ
(
x
1
−
x
2
)
+
x
2
)
−
f
(
x
2
)
λ
(
x
1
−
x
2
)
⩽
f
(
x
1
)
−
f
(
x
2
)
(x_1-x_2)\frac{f(\lambda (x_1-x_2)+x_2)-f(x_2)}{\lambda (x_1-x_2)}\leqslant f(x_1)-f(x_2)
(x1−x2)λ(x1−x2)f(λ(x1−x2)+x2)−f(x2)⩽f(x1)−f(x2)
令
λ
→
0
\lambda \rightarrow 0
λ→0,则
(
x
1
−
x
2
)
f
′
(
x
2
)
⩽
f
(
x
1
)
−
f
(
x
2
)
(x_1-x_2)f'(x_2)\leqslant f(x_1)-f(x_2)
(x1−x2)f′(x2)⩽f(x1)−f(x2)
令
x
1
=
x
,
x
2
=
E
(
x
)
x_1=x,x_2=\mathbb{E} (x)
x1=x,x2=E(x)
则
(
x
−
E
(
x
)
)
f
′
(
E
(
x
)
)
⩽
f
(
x
)
−
f
(
E
(
x
)
)
(x-\mathbb{E} (x))f'(\mathbb{E} (x))\leqslant f(x)-f(\mathbb{E} (x))
(x−E(x))f′(E(x))⩽f(x)−f(E(x))
取数学期望
E
\mathbb{E}
E
(
E
(
x
)
−
E
(
x
)
f
′
(
E
(
x
)
)
⩽
E
(
f
(
x
)
)
−
f
(
E
(
x
)
)
(\mathbb{E} (x)-\mathbb{E} (x)f'(\mathbb{E} (x))\leqslant \mathbb{E} (f(x))-f(\mathbb{E} (x))
(E(x)−E(x)f′(E(x))⩽E(f(x))−f(E(x))
即得
f
(
E
(
x
)
)
⩽
E
(
f
(
x
)
)
\begin{align} f(\mathbb{E} (x))\leqslant \mathbb{E} (f(x)) \tag{12.43} \end{align}
f(E(x))⩽E(f(x))(12.43)
这即Jensen不等式【西瓜书式(12.4)】.
因
sup
\mathop{\sup}
sup是凸函数(注:凸函数从函数图像来看,是“下凸”的,即若图像平移到
x
x
x轴上方,则凸向
x
x
x轴),由Jensen不等式有
sup
f
∈
F
(
E
Z
′
′
[
∗
]
)
⩽
E
Z
′
′
(
sup
f
∈
F
[
∗
]
)
\begin{align} \mathop{\sup}\limits_{f \in \mathcal{F} }(\mathbb{E}_{Z{''}} [*]) \leqslant \mathbb{E}_{Z{''}} (\mathop{\sup}\limits_{f \in \mathcal{F} }[*]) \tag{12.44} \end{align}
f∈Fsup(EZ′′[∗])⩽EZ′′(f∈Fsup[∗])(12.44)
式(12.44)代入(13)得(14),其中,由独立性有
E
Z
,
Z
′
′
=
E
Z
E
Z
′
′
\mathbb{E}_{Z,Z{''}}=\mathbb{E}_{Z}\mathbb{E}_{Z{''}}
EZ,Z′′=EZEZ′′;
(3)代入(14)即得(15);
引入记号
g
σ
(
Z
′
′
,
Z
)
=
d
e
f
sup
f
∈
F
1
m
∑
i
=
1
m
σ
i
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
\begin{align} g_{\sigma }(Z'',Z)\mathop{=} \limits^{\mathrm{def}} \mathop{\sup}\limits_{f \in \mathcal{F} }\frac{1}{m}\sum_{i=1}^m{\sigma}_i(f(z_i'')-f(z_i)) \tag{12.45} \end{align}
gσ(Z′′,Z)=deff∈Fsupm1i=1∑mσi(f(zi′′)−f(zi))(12.45)
其中,
σ
=
(
σ
1
,
σ
2
,
⋯
,
σ
m
)
,
Z
′
′
=
(
z
1
′
′
,
z
2
′
′
,
⋯
,
z
m
′
′
)
,
Z
=
(
z
1
,
z
2
,
⋯
,
z
m
)
\sigma =({\sigma }_1,{\sigma }_2,\cdots,{\sigma }_m),Z''=(z''_1,z''_2,\cdots,z''_m),Z=(z_1,z_2,\cdots,z_m)
σ=(σ1,σ2,⋯,σm),Z′′=(z1′′,z2′′,⋯,zm′′),Z=(z1,z2,⋯,zm)。
作变换
(
Z
′
′
,
Z
)
⟼
φ
(
Z
‾
′
′
,
Z
‾
)
:
{
当
σ
i
=
1
时:不变,即
z
‾
i
′
′
=
z
i
′
′
,
z
‾
i
=
z
i
当
σ
i
=
−
1
时:交换,即
z
‾
i
′
′
=
z
i
,
z
‾
i
=
z
i
′
′
\begin{align} (Z'',Z)\mathop{ \longmapsto }\limits^{\varphi }(\overline{Z}'',\overline{Z}) : \begin{cases} \text{当${\sigma}_i=1$时:不变,即$\overline {z}''_i={z}''_i,\overline{z}_i=z_i$} \\ \text{当${\sigma}_i=-1$时:交换,即$\overline{z}''_i=z_i,\overline{z}_i={z}''_i$} \\ \end{cases} \tag{12.46} \end{align}
(Z′′,Z)⟼φ(Z′′,Z):{当σi=1时:不变,即zi′′=zi′′,zi=zi当σi=−1时:交换,即zi′′=zi,zi=zi′′(12.46)
则
∑
i
=
1
m
σ
i
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
=
∑
i
:
σ
i
=
1
σ
i
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
+
∑
i
:
σ
i
=
−
1
σ
i
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
=
∑
i
:
σ
i
=
1
1
⋅
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
+
∑
i
:
σ
i
=
−
1
(
−
1
)
⋅
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
=
∑
i
:
σ
i
=
1
1
⋅
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
+
∑
i
:
σ
i
=
−
1
(
−
1
)
⋅
(
f
(
z
i
)
−
f
(
z
i
′
′
)
)
(由式(12.46))
=
∑
i
:
σ
i
=
1
1
⋅
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
+
∑
i
:
σ
i
=
−
1
1
⋅
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
=
∑
i
=
1
m
1
⋅
(
f
(
z
i
′
′
)
−
f
(
z
i
)
)
\begin{align} & \quad \sum_{i=1}^m{\sigma}_i(f(z_i'')-f(z_i)) \notag \\ & =\sum_{i:{\sigma}_i=1}{\sigma}_i(f(z_i'')-f(z_i))+\sum_{i:{\sigma}_i=-1}{\sigma}_i(f(z_i'')-f(z_i))\notag \\ & =\sum_{i:{\sigma}_i=1}1\cdot (f(z_i'')-f(z_i))+\sum_{i:{\sigma}_i=-1}(-1)\cdot (f(z_i'')-f(z_i))\notag \\ & =\sum_{i:{\sigma}_i=1}1\cdot (f(z_i'')-f(z_i))+\sum_{i:{\sigma}_i=-1}(-1)\cdot (f(z_i)-f(z_i''))\quad \text{(由式(12.46))}\notag \\ & =\sum_{i:{\sigma}_i=1}1\cdot (f(z_i'')-f(z_i))+\sum_{i:{\sigma}_i=-1}1\cdot (f(z_i'')-f(z_i))\notag \\ & = \sum_{i=1}^m1\cdot(f(z_i'')-f(z_i)) \tag{12.47} \end{align}
i=1∑mσi(f(zi′′)−f(zi))=i:σi=1∑σi(f(zi′′)−f(zi))+i:σi=−1∑σi(f(zi′′)−f(zi))=i:σi=1∑1⋅(f(zi′′)−f(zi))+i:σi=−1∑(−1)⋅(f(zi′′)−f(zi))=i:σi=1∑1⋅(f(zi′′)−f(zi))+i:σi=−1∑(−1)⋅(f(zi)−f(zi′′))(由式(12.46))=i:σi=1∑1⋅(f(zi′′)−f(zi))+i:σi=−1∑1⋅(f(zi′′)−f(zi))=i=1∑m1⋅(f(zi′′)−f(zi))(12.47)
将式(12.45)应用于式(12.47)两边,则有
g
σ
(
Z
′
′
,
Z
)
=
g
1
(
Z
‾
′
′
,
Z
‾
)
\begin{align} g_{\sigma }(Z'',Z)=g_{\boldsymbol{1} }(\overline{Z}'',\overline{Z}) \tag{12.48} \end{align}
gσ(Z′′,Z)=g1(Z′′,Z)(12.48)
其中,
1
=
(
1
,
1
,
⋯
,
1
)
\boldsymbol{1}=(1,1,\cdots,1)
1=(1,1,⋯,1)。
对式(12.48)取数学期望
E
(
Z
′
′
,
Z
)
g
σ
(
Z
′
′
,
Z
)
=
E
(
Z
‾
′
′
,
Z
‾
)
g
1
(
Z
‾
′
′
,
Z
‾
)
\begin{align} \mathop{\mathbb{E} }\limits_{(Z'',Z)}g_{\sigma }(Z'',Z)=\mathop{\mathbb{E} }\limits_{(\overline{Z}'',\overline{Z})}g_{\boldsymbol{1} }(\overline{Z}'',\overline{Z}) \tag{12.49} \end{align}
(Z′′,Z)Egσ(Z′′,Z)=(Z′′,Z)Eg1(Z′′,Z)(12.49)
这表明,虽然
σ
\sigma
σ变化,但式(12.49)是常数。
对式(12.49)取关于
σ
\sigma
σ的数学期望
E
σ
E
(
Z
′
′
,
Z
)
g
σ
(
Z
′
′
,
Z
)
=
E
(
Z
‾
′
′
,
Z
‾
)
g
1
(
Z
‾
′
′
,
Z
‾
)
=
E
(
Z
′
′
,
Z
)
g
1
(
Z
′
′
,
Z
)
(变更字母)
=
(
15
)
式
\begin{align} \mathop{\mathbb{E} }\limits_{\sigma}\mathop{\mathbb{E} }\limits_{(Z'',Z)}g_{\sigma }(Z'',Z) & =\mathop{\mathbb{E} }\limits_{(\overline{Z}'',\overline{Z})}g_{\boldsymbol{1} }(\overline{Z}'',\overline{Z})\notag \\ & =\mathop{\mathbb{E} }\limits_{(Z'',Z)}g_{\boldsymbol{1} }(Z'',Z)\qquad \text{(变更字母)}\notag \\ & =(15)\text{式} \tag{12.50} \end{align}
σE(Z′′,Z)Egσ(Z′′,Z)=(Z′′,Z)Eg1(Z′′,Z)=(Z′′,Z)Eg1(Z′′,Z)(变更字母)=(15)式(12.50)
将此式反过来,则得(16)式;
再由式(12.36),则得(17)式;
由于
σ
i
{\sigma }_i
σi与
−
σ
i
-{\sigma }_i
−σi同分布,故
E
σ
(
关于
(
−
σ
)
)
=
E
−
σ
(
关于
(
−
σ
)
)
=
E
σ
(
关于
(
σ
)
)
(变更字母)
\begin{align} \mathop{\mathbb{E} }\limits_{\sigma}(\text{关于$(-{\sigma })$}) & =\mathop{\mathbb{E} }\limits_{-\sigma}(\text{关于$(-{\sigma })$})\notag \\ & =\mathop{\mathbb{E} }\limits_{\sigma}(\text{关于$({\sigma })$})\qquad \text{(变更字母)} \tag{12.51} \end{align}
σE(关于(−σ))=−σE(关于(−σ))=σE(关于(σ))(变更字母)(12.51)
对(17)中第一项的 z i ′ ′ z''_i zi′′作变更字母处理,变为 z i z_i zi,再结合式(12.51),则得(18)式;
(18)式应用【西瓜书的定义式(12.40)(12.41)】即得(19)式;
(12)至(19)实际上是论证了一个不等式
E
Z
[
Φ
(
Z
)
]
⩽
2
R
m
(
F
)
\begin{align} \mathop{\mathbb{E} }\limits_{Z}[\Phi (Z)]\leqslant 2R_m(\mathcal{F} ) \tag{12.52} \end{align}
ZE[Φ(Z)]⩽2Rm(F)(12.52)
接下来考虑置信度
1
−
δ
1- \delta
1−δ。
1
−
δ
⩽
P
(
Φ
(
Z
)
<
ϵ
+
E
Z
Φ
(
Z
)
)
(由式(12.39))
⩽
P
(
Φ
(
Z
)
<
ϵ
+
2
R
m
(
F
)
)
(由式(12.52))
=
P
(
sup
f
∈
F
E
[
f
]
−
E
^
Z
[
f
]
<
ϵ
+
2
R
m
(
F
)
)
(由(4)式)
=
P
(
sup
f
∈
F
E
[
f
]
<
ϵ
+
E
^
Z
[
f
]
+
2
R
m
(
F
)
)
⩽
P
(
E
[
f
]
<
ϵ
+
E
^
Z
[
f
]
+
2
R
m
(
F
)
)
\begin{align} 1- \delta & \leqslant P(\Phi(Z)< \epsilon +\mathop{\mathbb{E} }\limits_Z\Phi(Z))\qquad \text{(由式(12.39))}\notag \\ & \leqslant P(\Phi(Z)< \epsilon +2R_m(\mathcal{F} ))\qquad \text{(由式(12.52))}\notag \\ & =P(\mathop{\sup}\limits_{f \in \mathcal{F} }\mathbb{E} [f]- \hat{E}_Z[f]< \epsilon +2R_m(\mathcal{F} ))\qquad \text{(由(4)式)}\notag \\ & =P(\mathop{\sup}\limits_{f \in \mathcal{F} }\mathbb{E} [f]< \epsilon + \hat{E}_Z[f]+2R_m(\mathcal{F} ))\notag \\ & \leqslant P(\mathbb{E} [f]< \epsilon + \hat{E}_Z[f]+2R_m(\mathcal{F} )) \tag{12.53} \end{align}
1−δ⩽P(Φ(Z)<ϵ+ZEΦ(Z))(由式(12.39))⩽P(Φ(Z)<ϵ+2Rm(F))(由式(12.52))=P(f∈FsupE[f]−E^Z[f]<ϵ+2Rm(F))(由(4)式)=P(f∈FsupE[f]<ϵ+E^Z[f]+2Rm(F))⩽P(E[f]<ϵ+E^Z[f]+2Rm(F))(12.53)
式(12.53)的左右对调即得(1)式,即【西瓜书式(12.42)】得证。
同
Φ
(
Z
)
\Phi (Z)
Φ(Z)一样,验证
R
^
Z
(
F
)
\hat{R}_Z(\mathcal{F})
R^Z(F)具有(10)一样的式子
∣
R
^
Z
(
F
)
−
R
^
Z
′
(
F
)
∣
⩽
1
m
\begin{align} |\hat{R}_Z(\mathcal{F})-\hat{R}_{Z'}(\mathcal{F})|\leqslant \frac{1}{m} \tag{12.54} \end{align}
∣R^Z(F)−R^Z′(F)∣⩽m1(12.54)
其中,
Z
Z
Z与
Z
′
Z'
Z′只有一个样本不同。
P
(
f
(
x
1
,
x
2
,
⋯
,
x
m
)
−
E
(
f
(
x
1
,
x
2
,
⋯
,
x
m
)
)
⩽
−
ϵ
)
⩽
exp
(
−
2
ϵ
2
∑
i
c
i
2
)
\begin{align} P(f(x_1,x_2,\cdots,x_m)-\mathbb{E}(f(x_1,x_2,\cdots,x_m))\leqslant-\epsilon )\leqslant \exp(\frac{-2{\epsilon}^2}{\sum_ic_i^2}) \tag{12.55} \end{align}
P(f(x1,x2,⋯,xm)−E(f(x1,x2,⋯,xm))⩽−ϵ)⩽exp(∑ici2−2ϵ2)(12.55)
注:【西瓜书式(12.8)】应替换成不等式(12.55),因为由【西瓜书式(12.7)】及式(12.55)可得【西瓜书式(12.8)】,但由【西瓜书式(12.7)】【西瓜书式(12.8)】得不出式(12.55)。
对
f
(
x
1
,
x
2
,
⋯
,
x
m
)
=
R
^
Z
f(x_1,x_2,\cdots,x_m)=\hat{R}_Z
f(x1,x2,⋯,xm)=R^Z应用McDiarmid不等式。
由式(12.55)即得
P
(
R
^
Z
−
E
R
^
Z
⩽
−
ϵ
)
⩽
exp
(
−
2
ϵ
2
∑
i
c
i
2
)
\begin{align} P(\hat{R}_Z-\mathbb{E}\hat{R}_Z\leqslant-\epsilon )\leqslant \exp(\frac{-2{\epsilon}^2}{\sum_ic_i^2}) \tag{12.56} \end{align}
P(R^Z−ER^Z⩽−ϵ)⩽exp(∑ici2−2ϵ2)(12.56)
取任意的
δ
,
(
0
<
δ
<
1
)
\delta, (0<\delta <1)
δ,(0<δ<1),令式(12.56)的右侧为
δ
\delta
δ解出
ϵ
\epsilon
ϵ,即与式(12.38)类似,不同点是:
1
δ
\frac{1}{\delta }
δ1变为
2
δ
\frac{2}{\delta }
δ2。
即得
P
(
R
^
Z
−
R
m
⩽
−
ϵ
)
⩽
δ
P
(
R
m
⩾
R
^
Z
+
ϵ
)
⩾
1
−
δ
\begin{align} P(\hat{R}_Z-R_m\leqslant-\epsilon )\leqslant \delta \notag \\ P(R_m\geqslant\hat{R}_Z+\epsilon )\geqslant 1-\delta \notag \end{align}
P(R^Z−Rm⩽−ϵ)⩽δP(Rm⩾R^Z+ϵ)⩾1−δ
这即为(20)式;
以至少
1
−
δ
1-\delta
1−δ概率成立的式子(
0
<
δ
<
1
0<\delta<1
0<δ<1,任意小),就是“几乎”成立,我们就认为它“成立”好了,现在,我们有了三个成立的式子((11)(19)(20)),即
{
Φ
(
Z
)
⩽
E
Z
[
Φ
(
Z
)
]
+
ϵ
E
Z
[
Φ
(
Z
)
]
⩽
2
R
m
(
F
)
R
m
(
F
)
⩽
R
^
Z
(
F
)
+
ϵ
\begin{align} \begin{cases} \Phi (Z)\leqslant\mathop{\mathbb{E} }\limits_{Z}[\Phi (Z)]+\epsilon \\ \mathop{\mathbb{E} }\limits_{Z}[\Phi (Z)]\leqslant 2R_m(\mathcal{F} ) \\ R_m(\mathcal{F} )\leqslant\hat{R}_Z(\mathcal{F} )+\epsilon \\ \end{cases} \tag{12.57} \end{align}
⎩
⎨
⎧Φ(Z)⩽ZE[Φ(Z)]+ϵZE[Φ(Z)]⩽2Rm(F)Rm(F)⩽R^Z(F)+ϵ(12.57)
这三式通过代入消元,得
Φ
(
Z
)
⩽
2
R
^
Z
(
F
)
+
3
ϵ
\begin{align} \Phi (Z)\leqslant 2\hat{R}_Z(\mathcal{F} )+3\epsilon \tag{12.58} \end{align}
Φ(Z)⩽2R^Z(F)+3ϵ(12.58)
这即为(22)式;
上述对(22)式的推理并不严格,但可以让我们快速思考。 为严格证明(22)式,我们先做点数学知识准备:
我们知道,不等式有传递性,即
{
a
⩽
b
b
⩽
c
⟹
a
⩽
c
\begin{align} \begin{cases} \, a\leqslant b \\ \, b \leqslant c \\ \end{cases} \Longrightarrow \, a\leqslant c \tag{12.59} \end{align}
{a⩽bb⩽c⟹a⩽c(12.59)
那么,对“几乎”成立的不等式,是不是也有传递性?事实上,也有传递性
{
P
(
a
⩽
b
)
⩾
1
−
δ
P
(
b
⩽
c
)
⩾
1
−
δ
⟹
P
(
a
⩽
c
)
⩾
1
−
2
δ
\begin{align} \begin{cases} \, P(a\leqslant b)\geqslant 1-\delta \\ \, P(b \leqslant c) \geqslant 1-\delta \\ \end{cases} \Longrightarrow \, P(a\leqslant c)\geqslant 1-2\delta \tag{12.60} \end{align}
{P(a⩽b)⩾1−δP(b⩽c)⩾1−δ⟹P(a⩽c)⩾1−2δ(12.60)
下面来证明这一有趣的结论。
式(12.59)即
(
a
⩽
b
)
∩
(
b
⩽
c
)
⊆
(
a
⩽
c
)
(a\leqslant b)\cap (b \leqslant c) \subseteq \, (a\leqslant c)
(a⩽b)∩(b⩽c)⊆(a⩽c)
由该蕴含关系,转换成事件发生的概率,则有
P
(
(
a
⩽
b
)
∩
(
b
⩽
c
)
)
⩽
P
(
a
⩽
c
)
\begin{align} P((a\leqslant b)\cap (b \leqslant c)) \leqslant P(a\leqslant c) \tag{12.61} \end{align}
P((a⩽b)∩(b⩽c))⩽P(a⩽c)(12.61)
由概率加法公式,有
P
(
(
a
⩽
b
)
∩
(
b
⩽
c
)
)
=
P
(
a
⩽
b
)
+
P
(
b
⩽
c
)
−
P
(
(
a
⩽
b
)
∪
(
b
⩽
c
)
)
⩾
(
1
−
δ
)
+
(
1
−
δ
)
−
P
(
(
a
⩽
b
)
∪
(
b
⩽
c
)
)
(由式(12.60)左侧条件)
⩾
(
1
−
δ
)
+
(
1
−
δ
)
−
1
=
1
−
2
δ
\begin{align} & \quad P((a\leqslant b)\cap (b \leqslant c)) \notag \\ & =P(a\leqslant b)+P (b \leqslant c)-P((a\leqslant b)\cup (b \leqslant c))\notag \\ & \geqslant (1-\delta)+(1-\delta)-P((a\leqslant b)\cup (b \leqslant c))\quad \text{(由式(12.60)左侧条件)}\notag \\ & \geqslant (1-\delta)+(1-\delta)-1\notag \\ & =1-2\delta \tag{12.62} \end{align}
P((a⩽b)∩(b⩽c))=P(a⩽b)+P(b⩽c)−P((a⩽b)∪(b⩽c))⩾(1−δ)+(1−δ)−P((a⩽b)∪(b⩽c))(由式(12.60)左侧条件)⩾(1−δ)+(1−δ)−1=1−2δ(12.62)
由式(12.61)、式(12.62),即得式(12.60)右侧之结论:
P
(
a
⩽
c
)
⩾
1
−
2
δ
\begin{align} P(a\leqslant c)\geqslant 1-2\delta \tag{12.63} \end{align}
P(a⩽c)⩾1−2δ(12.63)
注意,该结论是含
2
δ
2\delta
2δ,当式(12.60)左侧的两条件中有一个为“完全”成立时,则
2
δ
2\delta
2δ变为
δ
\delta
δ,即
{
P
(
a
⩽
b
)
=
1
P
(
b
⩽
c
)
⩾
1
−
δ
⟹
P
(
a
⩽
c
)
⩾
1
−
δ
\begin{align} \begin{cases} \, P(a\leqslant b)= 1 \\ \, P(b \leqslant c) \geqslant 1-\delta \\ \end{cases} \Longrightarrow \, P(a\leqslant c)\geqslant 1-\delta \tag{12.64} \end{align}
{P(a⩽b)=1P(b⩽c)⩾1−δ⟹P(a⩽c)⩾1−δ(12.64)
其中,
P
(
a
⩽
b
)
=
1
P(a\leqslant b)= 1
P(a⩽b)=1即表示不等式
a
⩽
b
a\leqslant b
a⩽b。
现在我们可以对(22)式进行严格证明了,将已证的(11)(19)(20)列在一起
{
P
(
Φ
(
Z
)
−
ϵ
⩽
E
Z
[
Φ
(
Z
)
]
)
⩾
1
−
δ
E
Z
[
Φ
(
Z
)
]
⩽
2
R
m
(
F
)
P
(
R
m
(
F
)
⩽
R
^
Z
(
F
)
+
ϵ
)
⩾
1
−
δ
\begin{align} \begin{cases} P(\Phi (Z)-\epsilon\leqslant\mathop{\mathbb{E} }\limits_{Z}[\Phi (Z)])\geqslant 1-\delta \\ \mathop{\mathbb{E} }\limits_{Z}[\Phi (Z)]\leqslant 2R_m(\mathcal{F} ) \\ P(R_m(\mathcal{F} )\leqslant\hat{R}_Z(\mathcal{F} )+\epsilon) \geqslant 1-\delta \\ \end{cases} \tag{12.65} \end{align}
⎩
⎨
⎧P(Φ(Z)−ϵ⩽ZE[Φ(Z)])⩾1−δZE[Φ(Z)]⩽2Rm(F)P(Rm(F)⩽R^Z(F)+ϵ)⩾1−δ(12.65)
将传递性式(12.64)应用于式(12.65)的第一、二式,则有
P
(
Φ
(
Z
)
−
ϵ
⩽
2
R
m
(
F
)
)
⩾
1
−
δ
\begin{align} P(\Phi (Z)-\epsilon\leqslant 2R_m(\mathcal{F}))\geqslant 1-\delta \tag{12.66} \end{align}
P(Φ(Z)−ϵ⩽2Rm(F))⩾1−δ(12.66)
式(12.65)的第三式,改写一下:
P
(
2
R
m
(
F
)
⩽
2
R
^
Z
(
F
)
+
2
ϵ
)
⩾
1
−
δ
\begin{align} P(2R_m(\mathcal{F} )\leqslant 2\hat{R}_Z(\mathcal{F} )+2\epsilon) \geqslant 1-\delta \tag{12.67} \end{align}
P(2Rm(F)⩽2R^Z(F)+2ϵ)⩾1−δ(12.67)
将传递性式(12.60)应用于式(12.66)、式(12.67),则有
P
(
Φ
(
Z
)
−
ϵ
⩽
2
R
^
Z
(
F
)
+
2
ϵ
)
⩾
1
−
2
δ
\begin{align} P(\Phi (Z)-\epsilon\leqslant 2\hat{R}_Z(\mathcal{F} )+2\epsilon)\geqslant 1-2\delta \tag{12.68} \end{align}
P(Φ(Z)−ϵ⩽2R^Z(F)+2ϵ)⩾1−2δ(12.68)
即
P
(
Φ
(
Z
)
⩽
2
R
^
Z
(
F
)
+
3
ϵ
)
⩾
1
−
2
δ
\begin{align} P(\Phi (Z)\leqslant 2\hat{R}_Z(\mathcal{F} )+3\epsilon)\geqslant 1-2\delta \tag{12.69} \end{align}
P(Φ(Z)⩽2R^Z(F)+3ϵ)⩾1−2δ(12.69)
比较式(12.69)与(22),需要进行微调:令
δ
′
=
2
δ
{\delta}'=2\delta
δ′=2δ,这时,式(12.65)的第三、第一式及式(12.69),三式变为
{
P
(
R
m
(
F
)
⩽
R
^
Z
(
F
)
+
ϵ
)
⩾
1
−
δ
′
2
P
(
Φ
(
Z
)
⩽
E
Z
[
Φ
(
Z
)
]
+
ϵ
)
⩾
1
−
δ
′
2
P
(
Φ
(
Z
)
⩽
2
R
^
Z
(
F
)
+
3
ϵ
)
⩾
1
−
δ
′
\begin{align} \begin{cases} P(R_m(\mathcal{F} )\leqslant\hat{R}_Z(\mathcal{F} )+\epsilon) \geqslant 1-\frac{{\delta}'}{2} \\ P(\Phi (Z)\leqslant\mathop{\mathbb{E} }\limits_{Z}[\Phi (Z)]+\epsilon)\geqslant 1-\frac{{\delta}'}{2} \\ P(\Phi (Z)\leqslant 2\hat{R}_Z(\mathcal{F} )+3\epsilon)\geqslant 1-{\delta}' \\ \end{cases} \tag{12.70} \end{align}
⎩
⎨
⎧P(Rm(F)⩽R^Z(F)+ϵ)⩾1−2δ′P(Φ(Z)⩽ZE[Φ(Z)]+ϵ)⩾1−2δ′P(Φ(Z)⩽2R^Z(F)+3ϵ)⩾1−δ′(12.70)
这时由式(12.38) 有
ϵ
=
ln
2
δ
′
2
m
\begin{align} \epsilon = \sqrt{\frac{\ln \frac{2}{{\delta}' }} {2m}} \tag{12.71} \end{align}
ϵ=2mlnδ′2(12.71)
式(12.71)代入式(12.70)并调整字母( δ ′ {\delta}' δ′改为 δ \delta δ),则得到(20)(21)(22);
由(4)式,式(12.70)的第三式变为
P
(
sup
f
∈
F
E
[
f
]
⩽
E
^
Z
(
f
)
+
2
R
^
Z
(
F
)
+
3
ϵ
)
⩾
1
−
δ
\begin{align} P(\mathop{\sup}\limits_{f \in \mathcal{F} }\mathbb{E} [f]\leqslant \hat{E}_Z(f)+2\hat{R}_Z(\mathcal{F} )+3\epsilon)\geqslant 1-{\delta} \tag{12.72} \end{align}
P(f∈FsupE[f]⩽E^Z(f)+2R^Z(F)+3ϵ)⩾1−δ(12.72)
(3)式代入式(12.72)
P
(
sup
f
∈
F
E
[
f
]
⩽
(2)式的右边
)
⩾
1
−
δ
\begin{align} P(\mathop{\sup}\limits_{f \in \mathcal{F} }\mathbb{E} [f]\leqslant \text{(2)式的右边})\geqslant 1-{\delta} \tag{12.73} \end{align}
P(f∈FsupE[f]⩽(2)式的右边)⩾1−δ(12.73)
因
E
[
f
]
⩽
sup
f
∈
F
E
[
f
]
\begin{align} \mathbb{E} [f]\leqslant \mathop{\sup}\limits_{f \in \mathcal{F} }\mathbb{E} [f] \tag{12.74} \end{align}
E[f]⩽f∈FsupE[f](12.74)
将传递性式(12.64)应用于式(12.73)、式(12.74),则有
P
(
E
[
f
]
⩽
(2)式的右边
)
⩾
1
−
δ
\begin{align} P(\mathbb{E} [f]\leqslant \text{(2)式的右边})\geqslant 1-{\delta} \tag{12.75} \end{align}
P(E[f]⩽(2)式的右边)⩾1−δ(12.75)
即为(2)式,即【西瓜书式(12.43)】得证。
其他证明
(1)【西瓜书引理12.1】的证明
作变换
z
=
{
1
,
(
h
(
x
)
≠
y
)
0
,
(
h
(
x
)
=
y
)
\begin{align} \boldsymbol{z}= \begin{cases} 1,\quad (h(\boldsymbol{x})\neq y) \\ 0,\quad (h(\boldsymbol{x})= y) \\ \end{cases} \tag{12.76} \end{align}
z={1,(h(x)=y)0,(h(x)=y)(12.76)
设
X
\mathcal{X}
X中的分布为
D
\mathcal{D}
D,将式(12.76)中的每个1视为
1
x
1_{\boldsymbol{x}}
1x,每个0视为
0
x
0_{\boldsymbol{x}}
0x,即与
x
\boldsymbol{x}
x相关的,这样,变换后的空间
Z
\mathcal{Z}
Z中的分布也为
D
\mathcal{D}
D,则
E
^
(
h
)
=
1
m
∑
i
=
1
m
z
i
\hat{E}(h)=\frac{1}{m}\sum_{i=1}^m\boldsymbol{z}_i
E^(h)=m1i=1∑mzi
E
(
h
)
=
P
z
∼
D
(
z
=
1
)
=
1
×
P
z
∼
D
(
z
=
1
)
+
0
×
P
z
∼
D
(
z
=
0
)
=
E
(
z
)
\begin{align*} {E}(h) & =P_{\boldsymbol{z}\thicksim \mathcal{D}}(\boldsymbol{z}=1) \\ & =1\times P_{\boldsymbol{z}\thicksim \mathcal{D}}(\boldsymbol{z}=1)+0\times P_{\boldsymbol{z}\thicksim \mathcal{D}}(\boldsymbol{z}=0) \\ & =\mathbb{E} (\boldsymbol{z}) \end{align*}
E(h)=Pz∼D(z=1)=1×Pz∼D(z=1)+0×Pz∼D(z=0)=E(z)
又
z
1
,
z
2
,
⋯
,
z
m
\boldsymbol{z}_1,\boldsymbol{z}_2,\cdots,\boldsymbol{z}_m
z1,z2,⋯,zm都与
z
\boldsymbol{z}
z独立同分布,故
E
(
z
1
)
=
E
(
z
2
)
=
⋯
=
E
(
z
m
)
=
E
(
z
)
\mathbb{E} (\boldsymbol{z}_1)=\mathbb{E} (\boldsymbol{z}_2)=\cdots=\mathbb{E}( \boldsymbol{z}_m)=\mathbb{E} (\boldsymbol{z})
E(z1)=E(z2)=⋯=E(zm)=E(z)
将此式代入Hoeffding不等式即得。
(2)【西瓜书推论12.1】的证明
已知【西瓜书引理12.1式(12.17)】,令其右边= δ \delta δ,解出 ϵ \epsilon ϵ,代入【西瓜书式(12.17)】,整理即得【西瓜书推论12.1】的(12.18)式。
(3)【西瓜书定理12.9】的证明
(i)证明方法及过程与【西瓜书定理12.4】类似;
(ii)在用到Hoeffding不等式处,令 x i = ℓ ( g , z i ) x_i=\ell (g,z_i) xi=ℓ(g,zi),即得到【西瓜书引理12.1及推论12.1】的类比结论;
(iii)将
E
(
h
)
E(h)
E(h)视为特殊的
ℓ
(
L
,
D
)
\ell (\mathfrak{L} ,\mathcal{D} )
ℓ(L,D),则可过渡到
E
(
h
)
−
E
(
g
)
⩽
ϵ
E(h)-E(g)\leqslant \epsilon
E(h)−E(g)⩽ϵ
从而得到可学习性。
(4)【西瓜书例12.1、例12.2】的推广: R d \mathbb{R} ^d Rd空间中线性超平面构成的假设空间,其VC维是 d + 1 d+1 d+1
证明分为两大步骤。
(一)用数学归纳法证:存在一个含 d + 1 d+1 d+1个样本的 D D D能被打散:
(i)由【西瓜书例12.1、例12.2】知, d = 1 , 2 d=1,2 d=1,2时成立;
(ii)假设 d = k , k > 2 d=k,k>2 d=k,k>2时成立。
当
d
=
k
+
1
d=k+1
d=k+1时,由于是线性空间(线性超平面),故存在标准正交基
{
ε
1
,
ε
2
,
⋯
,
ε
k
,
ε
k
+
1
}
\{\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_2,\cdots,\boldsymbol{\varepsilon}_k,\boldsymbol{\varepsilon}_{k+1}\}
{ε1,ε2,⋯,εk,εk+1}
该空间为这组标准正交基张成的超平面
π
k
+
1
{\pi}_{k+1}
πk+1。 其中,
{
ε
1
,
ε
2
,
⋯
,
ε
k
}
\{\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_2,\cdots,\boldsymbol{\varepsilon}_k\}
{ε1,ε2,⋯,εk},张成超平面
π
k
{\pi}_{k}
πk。
由假设知,存在一个能被打散的样本集 D k D_k Dk,它含有 k + 1 k+1 k+1个样本。 又由12.5 无限假设空间表12.1知,用于打散 D k D_k Dk的 h i h_i hi有 2 k + 1 2^{k+1} 2k+1个(即 i = 0 , 1 , 2 , ⋯ , 2 k + 1 − 1 i=0,1,2,\cdots,2^{k+1}-1 i=0,1,2,⋯,2k+1−1),每个 h i h_i hi均对应一个“划分线”,它为 π k {\pi}_{k} πk上的 k − 1 k-1 k−1维超平面(例如【西瓜书例12.2】中图12.1(a)的划分红线),不妨将这个超平面仍记为 h i h_i hi。 在轴 ε k + 1 \boldsymbol{\varepsilon}_{k+1} εk+1上任取两点 P P P、 Q Q Q,则 h i h_i hi与 P P P张成一个 k k k维超平面,记为 h i P h_i^P hiP,同样有 h i Q h_i^Q hiQ。
因 h i h_i hi打散 D k D_k Dk,设其将 D k D_k Dk对分为 S i + S_i^+ Si+和 S i − S_i^- Si−,记为 { S + } ⋃ { S − } \{ S^+\}\bigcup \{S^-\} {S+}⋃{S−},取 P P P与 Q Q Q的中间一点(如,中点) x \boldsymbol{x} x,它的标记有正负两种情况,添加这个点即形成 { x + ∪ S + } ⋃ { S − } \{\boldsymbol{x}^+\cup S^+\}\bigcup \{S^-\} {x+∪S+}⋃{S−}或 { S + } ⋃ { x − ∪ S − } \{ S^+\}\bigcup \{\boldsymbol{x}^-\cup S^-\} {S+}⋃{x−∪S−}。 这两种情况分别被 h i P h_i^P hiP和 h i Q h_i^Q hiQ对分。 即存在 D k + 1 = { x } ⋃ D k D_{k+1}=\{\boldsymbol{x}\}\bigcup D_k Dk+1={x}⋃Dk能被打散,且 D k + 1 D_{k+1} Dk+1有 ( k + 1 ) + 1 (k+1)+1 (k+1)+1个样本。
由数学归纳法原理结论得证。
(二)用反证法:证明其VC维不可能高于 d + 1 d+1 d+1。
假设
d
d
d维超平面中存在
d
+
2
d+2
d+2个样本的
D
D
D能被
H
\mathcal{H}
H打散,设
D
=
{
x
1
,
x
2
,
⋯
,
x
d
,
x
d
+
1
,
x
d
+
2
}
D=\{\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_d,\boldsymbol{x}_{d+1},\boldsymbol{x}_{d+2}\}
D={x1,x2,⋯,xd,xd+1,xd+2}
由于维度是
d
d
d,故
D
D
D中线性无关向量组中的向量个数不超过
d
d
d个,我们分两种情况讨论:
(i)
D
D
D中最大线性无关向量组中的向量个数为
d
d
d,对
D
D
D中向量进行排序后设前
d
d
d个线性无关,因此,可以以
(
x
1
,
x
2
,
⋯
,
x
d
)
(\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_d)
(x1,x2,⋯,xd)作为该
d
d
d维空间的一组基,则
D
D
D以列向量的形式表示为如下表(矩阵)
其中,左边列为基向量组,表体中左侧为单位矩阵,右侧两列分别表示为
x
d
+
1
=
∑
i
=
1
d
q
i
x
i
\boldsymbol{x}_{d+1}=\sum_{i=1}^dq_i\boldsymbol{x}_i
xd+1=i=1∑dqixi
x
d
+
2
=
∑
i
=
1
d
r
i
x
i
\boldsymbol{x}_{d+2}=\sum_{i=1}^dr_i\boldsymbol{x}_i
xd+2=i=1∑drixi
将上述矩阵(表体)删去第1列和第1行,形成:
D
′
=
(
x
2
′
,
x
3
′
,
⋯
,
x
d
′
,
x
d
+
1
′
,
x
d
+
2
′
)
D'=(\boldsymbol{x}'_2,\boldsymbol{x}'_3,\cdots,\boldsymbol{x}'_{d},\boldsymbol{x}'_{d+1},\boldsymbol{x}'_{d+2})
D′=(x2′,x3′,⋯,xd′,xd+1′,xd+2′)
其中
D
′
D'
D′中的
x
i
′
\boldsymbol{x}'_i
xi′比
D
D
D中的
x
i
\boldsymbol{x}_i
xi少第一个分量(对应第一行,被删去了),则:
D
′
D'
D′为
d
−
1
d-1
d−1维、前
d
−
1
d-1
d−1个向量为基、包含
d
+
1
d+1
d+1个样本(
d
−
1
d-1
d−1维空间中的样本)。
由假设 D D D能被 H \mathcal{H} H打散,即 H \mathcal{H} H能实现 D D D的所有对分,然而,“ D ′ D' D′的所有对分”为“ D D D的所有对分”的子集(因删去了 x 1 \boldsymbol{x}_1 x1),即 H \mathcal{H} H能实现 D ′ D' D′的所有对分,也即 H \mathcal{H} H能打散 D ′ D' D′。
上述即证明了:若 d d d维超平面中有样本数为 d + 2 d+2 d+2的 D D D能被 H \mathcal{H} H打散,则 d − 1 d-1 d−1维超平面中就有样本数为 d + 1 d+1 d+1的 D ′ D' D′能被 H \mathcal{H} H打散。 反复利用这个结论降维,则降至 d = 3 d=3 d=3时,再用一次该结论,就有:( d − 1 = 2 d-1=2 d−1=2)2维空间中含( d + 1 = 4 d+1=4 d+1=4)4个样本的数据集 D ′ D' D′能被打散,这与【西瓜书例12.2】矛盾,因此,这种情况不可能发生。
(ii)
D
D
D中最大线性无关向量组中的向量个数小于
d
d
d,设为
d
′
d'
d′,取
D
D
D中最大线性无关向量组
(
x
1
,
x
2
,
⋯
,
x
d
′
)
(\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_{d'})
(x1,x2,⋯,xd′)及
D
D
D中另外两向量
x
d
′
+
1
,
x
d
′
+
2
\boldsymbol{x}_{d'+1},\boldsymbol{x}_{d'+2}
xd′+1,xd′+2,组成:
D
1
=
(
x
1
,
x
2
,
⋯
,
x
d
′
,
x
d
′
+
1
,
x
d
′
+
2
)
D_1=(\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_{d'},\boldsymbol{x}_{d'+1},\boldsymbol{x}_{d'+2})
D1=(x1,x2,⋯,xd′,xd′+1,xd′+2)
则原假设变为:
d
′
d'
d′维超平面中存在
d
′
+
2
d'+2
d′+2个样本的
D
1
D_1
D1能被
H
\mathcal{H}
H打散,对此应用上述(1),产生矛盾,因此,这种情况不可能发生。
由(i)(ii)得(二)。
本文为原创,您可以:
- 点赞(支持博主)
- 收藏(待以后看)
- 转发(他考研或学习,正需要)
- 评论(或讨论)
- 引用(支持原创)
- 不侵权
上一篇:12.6 Rademacher复杂度
下一篇:13.1 生成式方法详解(样本数据都是由同一个潜在的模型“生成”的)