机器学习基石（5）

Eout能够确定是足够接近Ein吗？

我们能让Ein足够小吗？

 

M：假设集。M到底有多大，跟这两个问题有什么关系？

M比较小的时候，两者就很接近。但演算法选择就有限。

M很大的时候，演算法就有很多选择。但坏处在于坏事情发生的机率增加了，演算法多，选的数据集容易踩到雷

所以M必须适中。

 不仅Ein要接近0，而且Eout才是test集，test才要接近0；

那么回到这两个问题：他们到底会不会接近？如何使Ein足够小？

在这些博弈中，假设集的大小M，有何关系？

综上，太小太大都不好。那无限多个M，PLA中的情况，就是不好的。那之前说的PLA有啥用呢？无限大的M属于太大的情况。看看能不能用一个小的mH来代替这个无限大的M，如果可以换的话，就解决了M过大的难题。

 

为什么可以用union bound？因为发生坏事情的概率不太会重叠。1号假设h发生坏事的dataset和2号的dataset是不一样的。

但不太对，因为有两个很接近的假设，比如PLA