机器学习中样本N和hypothesis(H)个数的关系

在机器学习中，只有当N很大，且待选择的基函数M个数不是很多时才有效。

例如在一个教室里有150个同学，每个同学抛硬币5次，如果假设H1是抛出硬币是正的，那么150个人里面有99%的概率会至少有一个人抛到5个正面朝上，那么这个同学的Ein就是最小的，是0，但是这个Ein是和Eout相差比较大，因为Eout应该是0.5才对。这里就有问题了：为什么机器学习在这个情景中不适用呢？

其实上面150个同学相当于是H中有150个待选择的函数，要从这些函数中选择最接近其固有函数f的一个函数g，但是由于N很小，因此机器学习理论是不适用的。下面这个图显示了当N从1到50变化时，至少有一个人抛出的N次硬币证明朝上的概率。

matlab程序：

t=1:50;
t1=1./(2.^t);
plot(1-(1-t1).^150)

结果：

由上图可以看出，当N>20时，这个概率几乎为0了，因此当N>20时，可以认为对于这个情形机器学习是可行的。