浅谈归纳偏置

        本人学渣一枚，如有错误，敬请指出。

       《机器学习》2.7节谈到了归纳偏置，我不敢说自己对归纳偏置理解的很透彻，但这里简单记录一下我对归纳偏置的理解，以后我也会继续补充。

       本节从假设空间可能不包括目标概念引出了无偏学习，无偏学习的假设空间一定包含目标概念。然后讲到无偏学习的无用性，即如果采用无偏学习，那么在遇见一个训练集中不存在的实例时，无偏学习器无法对其分类。换句话说就是学习器无法从训练集中泛化。针对这个问题，正式提出了归纳偏置，即归纳偏置可以使得学习器具有泛化的功能。然后详细介绍了归纳偏置的定义，并给了候选消除法的例子。

       但在这里我有个问题，如果有了归纳偏置，那么目标概念就一定在假设空间了吗？

 

       2.7.2中EnjoySport的例子中，提到了两种定义无偏学习假设空间的形式。

       1、根据6种属性，确定下96中组合值，然后对于每一种组合EnjoySport都有Yes和No两种结果，于是一共有2⁹⁶种概念。

       2、允许使用之前假设的任意析取、合取和否定式。

       我觉得这两种定义假设空间的方式在本质上一样的，假设空间都是实例空间X的幂集，无非是第二种可以利用析取合取操作，进而可以很自然的运用到候选消除算法上。

      

       无偏学习为什么不能对未见过的实例进行分类呢，书上提到，每一个未见过的实例都会被变型空间中刚好半数的假设化为正例，另一半化为反例。因为无偏学习的假设空间都是实例空间的幂集，于是存在这样的情况：所有实例的属性都相同，但是一个假设将其化为正ÿ