本人学渣一枚,如有错误,敬请指出。
《机器学习》2.7节谈到了归纳偏置,我不敢说自己对归纳偏置理解的很透彻,但这里简单记录一下我对归纳偏置的理解,以后我也会继续补充。
本节从假设空间可能不包括目标概念引出了无偏学习,无偏学习的假设空间一定包含目标概念。然后讲到无偏学习的无用性,即如果采用无偏学习,那么在遇见一个训练集中不存在的实例时,无偏学习器无法对其分类。换句话说就是学习器无法从训练集中泛化。针对这个问题,正式提出了归纳偏置,即归纳偏置可以使得学习器具有泛化的功能。然后详细介绍了归纳偏置的定义,并给了候选消除法的例子。
但在这里我有个问题,如果有了归纳偏置,那么目标概念就一定在假设空间了吗?
2.7.2中EnjoySport的例子中,提到了两种定义无偏学习假设空间的形式。
1、根据6种属性,确定下96中组合值,然后对于每一种组合EnjoySport都有Yes和No两种结果,于是一共有296种概念。
2、允许使用之前假设的任意析取、合取和否定式。
我觉得这两种定义假设空间的方式在本质上一样的,假设空间都是实例空间X的幂集,无非是第二种可以利用析取合取操作,进而可以很自然的运用到候选消除算法上。
无偏学习为什么不能对未见过的实例进行分类呢,书上提到,每一个未见过的实例都会被变型空间中刚好半数的假设化为正例,另一半化为反例。因为无偏学习的假设空间都是实例空间的幂集,于是存在这样的情况:所有实例的属性都相同,但是一个假设将其化为正ÿ