文章目录
1. BAD Bound for General H \mathcal{H} H
想要的式子长这样:
当 N N N足够大时,下面的式子成立:
证明比较困难。主要分为三个步骤:
Step 1: Replace E o u t E_{out} Eout by E i n ′ E_{in}^{'} Ein′
E
i
n
E_{in}
Ein的定义:
E
i
n
(
h
)
=
1
N
∑
n
=
1
N
[
h
(
x
n
)
≠
y
n
]
E_{in}(h)=\frac{1}{N}\sum_{n=1}^{N}[h(\mathbf{x_{n}})\neq y_{n}]
Ein(h)=N1n=1∑N[h(xn)̸=yn]
所以在给定了
D
\mathcal{D}
D之后(
D
\mathcal{D}
D中只有有限多个点),
E
i
n
E_{in}
Ein的取值实际上只有有限个。
然而
E
o
u
t
E_{out}
Eout的取值却可以是无限个。
我们要想办法把它变成有限多个,这里想到了用用来做verification 的数据集
D
′
\mathcal{D}^{'}
D′,它大概可以用来代替
E
o
u
t
E_{out}
Eout。
下面的图代表随机取一个
D
\mathcal{D}
D,其
E
i
n
E_{in}
Ein的分布情况,可以看到在已经抽出有一个与
E
o
u
t
E_{out}
Eout相差很大的
E
i
n
E_{in}
Ein的情况下,再抽一个
E
i
n
′
E_{in}^{'}
Ein′时,
E
i
n
E_{in}
Ein与
E
i
n
′
E_{in}^{'}
Ein′相差很大的概率至少是大于
1
2
\frac{1}{2}
21的。
于是
E o u t E_{out} Eout就被换掉了。