归纳偏好
归纳偏好(inductive bias),机器学习算法在学习过程中对某种类型假设的偏好。
任何一个有效的机器学习算法必有其归纳偏好,否则它将被假设空间中看似在训练集上等效的假设所迷惑,而无法生成确定的学习结果,这也是机器学习中非常重要的概念,举例说明。
归纳偏好例子
如果我们在购买某个股票时假定根据两个主要特征:股票经纪公司等级和股票最近3个月的涨幅情况,进而判断是否购买某只股。
假定股票经纪公司等级取值为3种:A等,B等,C等,不要忘记还要考虑到一种特殊取值 *,即公司等级取ABC中哪个值这个股票我都要买(也就是说这个特征对于我是否买这只股是无关紧要的);股票最近3个月的涨幅情况取值为2种:涨,降,取值哪个都合适 *。
那么根据这两个特征和特征取值,并且股票的标签 y 取值为买或不买,因此我们可以得到一个由12种类型的假设组成的假设空间,如下所示:
1. A等 涨
2. A等 降
3. A等 *
4. B等 涨
5. B等 降
6. B等 *
7. C等 涨
8. C等 降
9. C等 *
10. * 涨
11. * 降
12. * *
根据由3条股票的记录组成的训练集,如下所示:
A等 涨 买
B等 涨 买
C等 降 不买
根据这3条训练记录,得出了其中两个与训练集一致的假设,这两个假设组成的空间称为样本空间(version space):
1. * 涨 买
2. C等 * 不买
以上两个假设都能使得3条训练集成立,也就是说只要涨我们就买股票,只要是C等,我们就不买股票,并且我们的机器学习算法对股票经纪公司等级和股票最近3个月的涨幅情况这两个特征没有任何偏好,如果没有归纳偏好,就会出现同一只股票的预测有时该买,有时不该买的情况。
接下来,来了一只股票,其特征值为 C等 涨,如果随机选取了第一个假设,我们判断要买,但是如果我们选取了第二个假设,我们判断不能买。一回买一回不买,显然我们制定的这个机器学习算法失灵了。
解决的办法,要么制定特征的归纳偏好,如果偏向于股票经纪公司等级,觉得这个特征更重要,那么我们买;要么进来更多的训练数据,消除12种假设中的11个,只留下唯一的一个。
转自:算法channel
阅读伙伴公众号更多精彩内容,点击 “ 阅读原文 ”