一、hypothesis set 有限个数时,machine learning 靠谱吗
样本空间的target函数我们是不知道的!凭什么说学习到的规则就可以表示样本空间的规则?
但是在概率论中,我们有一条原理是说,利用已知的概率可以大概推断出未知的概率。所以我们就思考啊,能否利用hypothesis在抽样样本的表现来推断出这个hypothesis 在样本空间上的表现,进而选出最好的hypothesis。顺着思路,我们具体来看看数学上的证明。
主要利用的概率论公式,利用已知推断未知:
联系机器学习过程,针对一个给定的hypothesis ,我们可以认为u是在整个样本空间上hypothesis 函数的表现(误分率),v是在抽样空间上hypothesis 表现(误分率),根据hoeffding公式,我们可以认为u和v大概率差不多是相等的。具体来说,大概率表示说随机在样本空间上进行抽样(保证样本空间足够大),绝大多数情况下,得到的这些抽样样本的表现都是可以表明整个样本空间上的表现,只有极少极少的情况下,抽样样本的表现和样本空间的表现相差甚远(正是由于这点 会影响在多个hypothesis set里选择g时 产生新的问题)。而差不多表明,u和v不可能完全相等,存在着可包容的误差。
<