假设空间 H \mathcal{H} H关于 D D D的经验Rademacher复杂度反映了假设空间 H \mathcal{H} H的能力。
Rademacher复杂度
VC维是一个与分布无关的视角,而Rademacher复杂度则是与分布有关的。
现在将二分类的标记空间设为
{
−
1
,
+
1
}
\{-1,+1\}
{−1,+1},真实标记
y
y
y与预测标记
h
(
x
)
h(\boldsymbol{x})
h(x)的各种组合为表12.2 中的第1、2列。
观察第3列和第4列,有
I
(
h
(
x
)
≠
y
)
=
1
−
y
⋅
h
(
x
)
2
\begin{align} \mathbb{I} (h(\boldsymbol{x})\neq y)=\frac{1-y\cdot h(\boldsymbol{x})}{2} \tag{12.24} \end{align}
I(h(x)=y)=21−y⋅h(x)(12.24)
【西瓜书式(12.36)】的推导过程中用到式(12.24)。 【西瓜书式(12.36)】表明:要使经验误差最小化,就应使式(12.25)最大化。
1
m
∑
i
=
1
m
y
i
⋅
h
(
x
i
)
\begin{align} \frac{1}{m}\sum_{i=1}^my_i\cdot h(\boldsymbol{x}_i) \tag{12.25} \end{align}
m1i=1∑myi⋅h(xi)(12.25)
其中
(
y
1
,
y
2
,
⋯
,
y
m
)
(y_1, y_2,\cdots,y_m)
(y1,y2,⋯,ym)为一组确定的值。
现在设有一组骰子
(
σ
1
,
σ
2
,
⋯
,
σ
m
)
({\sigma}_1, {\sigma}_2,\cdots,{\sigma}_m)
(σ1,σ2,⋯,σm),每个骰子只有两个面:正面(标记+1)和反面(标记-1),且投掷结果是每面出现的概率相等(均为1/2),让上帝掷这组骰子,每掷一次就有一组确定的值,相当于选出了一组
(
y
1
,
y
2
,
⋯
,
y
m
)
(y_1,y_2,\cdots,y_m)
(y1,y2,⋯,ym),形成了样例集
D
=
{
(
x
i
,
y
i
)
}
i
=
1
m
D=\{(\boldsymbol{x}_i,y_i)\}_{i=1}^m
D={(xi,yi)}i=1m,就有一个式(12.25),将这些式子统一表达,即
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
\begin{align} \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i) \tag{12.26} \end{align}
m1i=1∑mσi⋅h(xi)(12.26)
考察式(12.26),由于 D D D已知,故 x i \boldsymbol{x}_i xi已知,一旦上帝掷好了 σ = ( σ 1 , σ 2 , ⋯ , σ m ) {\sigma}=({\sigma}_1, {\sigma}_2,\cdots,{\sigma}_m) σ=(σ1,σ2,⋯,σm)后,式(12.26)中的“变量”为 h h h, h h h每取一个 H \mathcal{H} H中的假设,式(12.26)就有一个值。
设
h
σ
h^{\sigma}
hσ使得
h
σ
(
x
i
)
=
σ
i
,
∀
i
∈
{
1
,
2
,
⋯
,
m
}
h^{\sigma}(\boldsymbol{x}_i)={\sigma}_i,\forall i \in \{1,2,\cdots,m\}
hσ(xi)=σi,∀i∈{1,2,⋯,m},则
σ
i
h
σ
(
x
i
)
=
σ
i
2
=
1
{\sigma}_ih^{\sigma}(\boldsymbol{x}_i)={\sigma}_i^2=1
σihσ(xi)=σi2=1,而对
∀
h
\forall h
∀h有:
σ
i
h
(
x
i
)
⩽
(
+
1
)
(
+
1
)
=
1
{\sigma}_ih(\boldsymbol{x}_i)\leqslant (+1)(+1)=1
σih(xi)⩽(+1)(+1)=1,代入式(12.26)有
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
⩽
1
\begin{align} \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i)\leqslant 1 \tag{12.27} \end{align}
m1i=1∑mσi⋅h(xi)⩽1(12.27)
当
h
=
h
σ
h=h^{\sigma}
h=hσ时,取等号。 即
h
σ
=
arg
max
h
∈
H
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
\begin{align} h^{\sigma}=\mathop{\arg\max}\limits_{h \in \mathcal{H}} \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i) \tag{12.28} \end{align}
hσ=h∈Hargmaxm1i=1∑mσi⋅h(xi)(12.28)
然而,上述理想的
h
σ
h^{\sigma}
hσ不一定在
H
\mathcal{H}
H中,因此,退而求其次,考虑
sup
h
∈
H
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
\begin{align} \sup_{h \in \mathcal{H} } \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i) \tag{12.29} \end{align}
h∈Hsupm1i=1∑mσi⋅h(xi)(12.29)
这时,一定有
H
\mathcal{H}
H中的
h
h
h使其达到上确界,当然,
h
h
h是与
σ
=
(
σ
1
,
σ
2
,
⋯
,
σ
m
)
{\sigma}=({\sigma}_1, {\sigma}_2,\cdots,{\sigma}_m)
σ=(σ1,σ2,⋯,σm)相关的,表达式为
h
σ
=
arg
sup
h
∈
H
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
\begin{align} h_{{\sigma}}=\arg\sup_{h \in \mathcal{H} } \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i) \tag{12.30} \end{align}
hσ=argh∈Hsupm1i=1∑mσi⋅h(xi)(12.30)
若能消去式(12.29)中的随机变量
σ
i
{\sigma}_i
σi,则能得到一个定值,消去随机变量的办法通常是取数学期望,即
E
σ
[
sup
h
∈
H
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
]
\begin{align} \mathop{\mathbb{E} }\limits_{\sigma} [\sup_{h \in \mathcal{H} } \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i)] \tag{12.31} \end{align}
σE[h∈Hsupm1i=1∑mσi⋅h(xi)](12.31)
其中,
σ
=
(
σ
1
,
σ
2
,
⋯
,
σ
m
)
{\sigma}=({\sigma}_1, {\sigma}_2,\cdots,{\sigma}_m)
σ=(σ1,σ2,⋯,σm)。
式(12.28)表明:若对任意的
σ
{\sigma}
σ,都有对应的
h
σ
∈
H
h^{\sigma}\in \mathcal{H}
hσ∈H,式(12.31)的值最大(为1),此时
H
\mathcal{H}
H能力最强(
H
\mathcal{H}
H具有“打散”能力)。 又当
H
\mathcal{H}
H能力最弱时,如,仅含一个元素
h
h
h(只能删除表12.1 中的一行,表12.1 参见12.5 无限假设空间),这时,式(12.31)中
h
(
x
i
)
h(\boldsymbol{x}_i)
h(xi)为“常数”,可以消除
sup
h
∈
H
\sup_{h \in \mathcal{H} }
suph∈H,即
E
σ
[
sup
h
∈
H
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
]
=
E
σ
[
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
]
=
1
m
h
(
x
i
)
∑
i
=
1
m
E
σ
σ
i
=
1
m
h
(
x
i
)
∑
i
=
1
m
E
σ
i
σ
i
(
由
σ
i
的独立性
)
=
1
m
h
(
x
i
)
×
0
=
0
\begin{align} \mathop{\mathbb{E} }\limits_{\sigma} [\sup_{h \in \mathcal{H} } \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i)] & = \mathop{\mathbb{E} }\limits_{\sigma} [ \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i)]\notag \\ & =\frac{1}{m}h(\boldsymbol{x}_i)\sum_{i=1}^m\mathop{\mathbb{E} }\limits_{\sigma }{\sigma}_i \notag \\ & =\frac{1}{m}h(\boldsymbol{x}_i)\sum_{i=1}^m\mathop{\mathbb{E} }\limits_{\sigma _i}{\sigma}_i(\text{由${\sigma _i}$的独立性}) \notag \\ & =\frac{1}{m}h(\boldsymbol{x}_i)\times 0\notag \\ & =0 \tag{12.32} \end{align}
σE[h∈Hsupm1i=1∑mσi⋅h(xi)]=σE[m1i=1∑mσi⋅h(xi)]=m1h(xi)i=1∑mσEσi=m1h(xi)i=1∑mσiEσi(由σi的独立性)=m1h(xi)×0=0(12.32)
即此时式(12.31)的最小值为0,故式(12.31)反映了假设空间
H
\mathcal{H}
H的能力,将式(12.31)称为假设空间
H
\mathcal{H}
H关于
D
D
D的经验Rademacher复杂度,将这句话融入到一个记号中:
R
^
D
(
H
)
=
E
σ
[
sup
h
∈
H
1
m
∑
i
=
1
m
σ
i
⋅
h
(
x
i
)
]
\begin{align} \hat R_D(\mathcal{H})=\mathbb{E}_{\sigma} [\sup_{h \in \mathcal{H} } \frac{1}{m}\sum_{i=1}^m{\sigma}_i\cdot h(\boldsymbol{x}_i)] \tag{12.33} \end{align}
R^D(H)=Eσ[h∈Hsupm1i=1∑mσi⋅h(xi)](12.33)
其中,
σ
=
(
σ
1
,
σ
2
,
⋯
,
σ
m
)
{\sigma}=({\sigma}_1, {\sigma}_2,\cdots,{\sigma}_m)
σ=(σ1,σ2,⋯,σm)。 观察式(12.33)的右边:
x
i
\boldsymbol{x}_i
xi被
∑
i
=
1
m
\sum_{i=1}^m
∑i=1m消掉、
h
h
h被
sup
h
\sup_{h}
suph消掉、
σ
i
{\sigma}_i
σi被
E
σ
\mathbb{E}_{\sigma}
Eσ消掉,剩下的变量为
sup
h
∈
H
\sup_{h \in \mathcal{H} }
suph∈H下的
H
\mathcal{H}
H,而
x
i
\boldsymbol{x}_i
xi源于数据集
D
D
D作为前提。 故此有式左边的函数表达形式。
考察式(12.33),其中
D
D
D有三项特点:分布
D
\mathcal{D}
D、i.i.d.采样、样本数为
m
m
m。 分布
D
\mathcal{D}
D为样本空间的属性(设为固定的),在给定
m
m
m后,通过i.i.d.采样可得不同的
D
1
,
D
2
,
⋯
D_1,D_2,\cdots
D1,D2,⋯,对于每一个
D
i
D_i
Di都有一个式(12.33)的“经验”
R
^
\hat R
R^,“经验”
R
^
\hat R
R^的数学期望即为“本质”的
R
R
R,即关于
X
\mathcal{X}
X上分布
D
\mathcal{D}
D的
R
m
R_m
Rm(Rademacher复杂度)
R
m
(
H
)
=
E
D
:
∼
D
∣
D
∣
=
m
[
R
^
D
(
H
)
]
\begin{align} R_m(\mathcal{H})=\mathop{\mathbb{E} }\limits_{\substack{D:\thicksim \mathcal{D} \\|D|=m}}[\hat R_D(\mathcal{H})] \tag{12.34} \end{align}
Rm(H)=D:∼D∣D∣=mE[R^D(H)](12.34)
这又是一次“消元”。
将 σ i ⋅ h ( x i ) {\sigma}_i\cdot h(\boldsymbol{x}_i) σi⋅h(xi)视为随机噪声 σ i {\sigma}_i σi对 h ( x i ) h(\boldsymbol{x}_i) h(xi)的影响,式(12.33)又体现有在给定 m m m下随机噪声的总影响。 将该概念推广到函数空间中,式(12.33)即为【西瓜书定义12.8的(12.40)】,式(12.34)即为【西瓜书定义12.9的(12.41)】所述的Rademacher复杂度。 需要注意的是:它将离散的二值 { − 1 , + 1 } \{-1,+1\} {−1,+1}函数 h h h推广到了一般的实值函数 f f f,即若 f f f离散也不一定是二值函数,即使是二值的,也不一定是 { − 1 , + 1 } \{-1,+1\} {−1,+1}。
本文为原创,您可以:
- 点赞(支持博主)
- 收藏(待以后看)
- 转发(他考研或学习,正需要)
- 评论(或讨论)
- 引用(支持原创)
- 不侵权
上一篇:12.5 无限假设空间
下一篇:12.7 定理的证明技巧(烧脑的数学,好玩的技巧)