machine learning可行性数学原理论证篇（一）

一、hypothesis set 有限个数时，machine learning 靠谱吗
样本空间的target函数我们是不知道的！凭什么说学习到的规则就可以表示样本空间的规则？
但是在概率论中，我们有一条原理是说，利用已知的概率可以大概推断出未知的概率。所以我们就思考啊，能否利用hypothesis在抽样样本的表现来推断出这个hypothesis 在样本空间上的表现，进而选出最好的hypothesis。顺着思路，我们具体来看看数学上的证明。

主要利用的概率论公式，利用已知推断未知：
联系机器学习过程，针对一个给定的hypothesis ，我们可以认为u是在整个样本空间上hypothesis 函数的表现（误分率），v是在抽样空间上hypothesis 表现（误分率），根据hoeffding公式，我们可以认为u和v大概率差不多是相等的。具体来说，大概率表示说随机在样本空间上进行抽样（保证样本空间足够大），绝大多数情况下，得到的这些抽样样本的表现都是可以表明整个样本空间上的表现，只有极少极少的情况下，抽样样本的表现和样本空间的表现相差甚远（正是由于这点 会影响在多个hypothesis set里选择g时 产生新的问题）。而差不多表明，u和v不可能完全相等，存在着可包容的误差。
<