机器学习基石 4.4 Connection to Real Learning

1. Multiple $h$

如果有一个$h$在手上的资料中没有犯错（全是绿色的弹珠），即$E_{in}(h_M)=0$，能否说这个$h$就是完美的？

2. Coin Game

不能，比如150个人一起抛硬币，出现一个5次全部正面的概率大于99%，但此时不能说这个5次全部正面的硬币有魔法。

3. BAD Sample and BAD Data

坏的样本指的是那些$E_{in}$与$E_{out}$相差很大的样本。

对于一个$h$来说，坏的数据集指的是那些$E_{in}(h)$与$E_{out}(h)$相差很大的数据集。Hoeffding的理论告诉我们，这种情况发生的概率很小。

当$h$有很多种选择时，坏的数据集指的是可能会在某个$h$上$E_{in}(h)$与$E_{out}(h)$相差很大的数据集。

Hoeffding的理论只说明了对于一个$h$，一个数据集是坏的的概率很小。

当有$M$个$h$时

这是Hoeffding在有限的bin上的版本。
同样不依赖于任何的$E_{out}(h_m)$，不需要知道$E_{out}(h_m)$。
所以$E_{in}(g)=E_{out}(g)$大概是对的，并且与使用的Learning Algorithm无关。

所以最有效的算法就如同前面讲到的PLA或者pocket一样，选择$E_{in}(h_m)$最小的$h_m$作为g。

4. The ‘Statistical’ Learning Flow

以上结论说明：如果$\mathcal{H}$是有限的并且$N$足够大，那么机器学习是可行的。

下一讲将讨论$\mathcal{H}$无限大（比如perceptrons）的情形。

5. Fun Time

根据公式，3是对的。
2是对的，只添加一个负号并不会改变数据的好坏，正因如此，4是对的，相当于根据公式得到的$M=2$时的情形，添加负号后坏的数据集与原来的坏的数据集是一样的。