机器学习（5）--化无限为有限

在上一篇文章中根据坏的样本和坏的数据的表格中得到如下推论：

对于所有的M（假设的个数）,N（数据集规模）和阈值，Hoeffding Inequality都是有效的，
我们不必要知道Eout，可以通过Ein来代替Eout（这句话的意思是Ein(g)=Eout(g) is PAC）。
由上篇文章所讲的Hoeffding Inequality可得到下面式子：

我们的希望

1. 我们希望Eout(g)越接近Ein(g)越好；
2. 我们希望Ein(g)越小越好，最好是接近于0.

我们的期待

1. M是有限的（不要太大）；

2. M不能太小，能让我们找到比较多的hypothesis.

   根据式子：
   
   分析：
   如果M很小的话，表示坏事情发生的概率很小（坏事情：假设hypothesis在Data上训练错误率）–这是我们所期待的，但是M很小的缺陷是我们的选择有限了，我们不一定能找到这样的hypothesis来进行学习。而如果M很大，可能是一个大于1的数，这不是我们想要的。但是M很大时能满足我们的另一个期待：有很多hypothesis供我们选择，不然做了很多最后得不到hypothesis，就相当于做无用功。

化无限为有限

猜想：
我们是否可以用一个有限的和假设集相关的量mH来替换不可求得M，然后我们根据mH来证明坏事情发生的概率很小？

验证：
（在二维空间上我们采用线性分类举例，更高维的空间方法类似）对于二维空间上的每一个点xi来说世界上只有两种线：
xi在一种线的眼里是x以及xi在一种线的眼里是o。
所以可以得到一个最直观的结论（不一定对）：在二维空间上的N个点来说可能有2^N种线。
这个结论对不对呢？
当然是不对的。（采用数学归纳法证明）
如下图：

由此可以实现我们的一个希望了，Eout(g)是可以很接近Ein(g)的。因为mH在一定情况下是有限的，故式子

的左边也是一个有限的数，且很大几率是小于1的值，所以Eout(g)是可以很接近Ein(g)的。

感谢林老师的课。