1.4 归纳偏好 机器学习

通过学习得到的模型对应了假设空间中的一个假设.于是,西瓜版本空间给我们带来一个麻烦:现在有三个与训练集一致的假设,但与它们对应的模型在面临新样本的时候,却会产生不同的输出.例如,对(色泽=青绿;根蒂=蜷缩;敲声=沉闷)这个新收来的瓜,如果我们采用的是“好瓜→(色泽= *)∩(根蒂=蜷缩)∩(敲声= *)”，那么将会把新瓜判断为好瓜,而如果采用了另外两个假设,则判断的结果将不是好瓜。那么,应该采用哪一个模型(或假设)呢?

若仅有表1.1中的训练样本,则无法断定上述三个假设中哪一个“更好”.然而,对于一个具体的学习算法而言,它必须要产生一个模型．这时,学习算法本身的“偏好”就会起到关键的作用.例如,若我们的算法喜欢“尽可能特殊”的模型,则它会选择“好瓜→(色泽= *)∩(根蒂=蜷缩)∩(敲声=浊响)”;但若我们的算法喜欢“尽可能一般”的模型,并且由于某种原因它更“相信”根蒂,则它会选择“好瓜→(色泽=*)∩(根蒂=蜷缩)∩(敲声= *)”.机器学习算法在学习过程中对某种类型假设的偏好,称为“归纳偏好”(inductive bias)。

任何一个有效的机器学习算法必有其归纳偏好。比如下图，有两种模式都能匹配训练集，显然，我们的归纳偏好直接决定了模型的状态.归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”．那么,有没有一般性的原则来引导算法确立“正确的”偏好呢?“奥卡姆剃刀”(Occam's razor)是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致,则选最简单的那个”.如果采用这个原则,并且假设我们认为“更平滑”意味着“更简单”(例如曲线A更易于描述,而曲线B则要复杂得多),则在图1.3中我们会自然地偏好“平滑”的曲线A.
然而，奥卡姆剃刀并非唯一可行的原则.

事实上,归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设.在具体的现实问题中,这个假设是否成立,即算法的归纳偏好是否与问题本身匹配,大多数时候直接决定了算法能否取得好的性能.

事实上，脱离实际问题，我们会发现，对于一学习算法a，若它在某些问题上比算法b好，则必存在另外一些问题，算法b会比算法a好。

“没有免费的午餐”定理（NFL）表示，无论算法A有多聪明，算法B有多笨拙，他们的期望相同。（感兴趣的可以自己了解下证明过程）。所以我们要注意，脱离实际问题，空谈什么样的学习算法最好毫无意义。