西瓜书学习笔记2——通俗讲解机器学习中假设空间、归纳偏好

本人是跨专业考研计算机，是纯小白，从机器学习--周志华（俗称西瓜书）开始学习，记录学习笔记，目的是记录学习的内容，让和我一样的小白能够快速的学习本书中的知识，如果有大佬看到可以多提提意见，一起学习交流，共同进步。

一、假设空间

笔记1中提到数据集，通过西瓜数据集来表示，假定此时我们获得了这样一个训练数据集：

表1.1 西瓜数据集

编号 色泽 根蒂 敲声 好瓜 1 青绿                         蜷缩 浊响 是 2 乌黑 蜷缩 浊响 是 3 青绿 硬挺 清脆 否 4 乌黑 稍蜷 沉闷 否

        这里学习的目标是“好瓜”，暂且假定“好瓜”可有“色泽”，“根蒂”，“敲声”这三个因素完全确定，也就是这三个属性取值明确了。我们就能判断出它是不是好瓜。但是在我们学习的目的是“泛化”，也就是通过对训练集中瓜的学习来获得对没见过的瓜进行判断是否是好瓜的能力，不仅仅要把训练集中的瓜记住，也要在见到与训练集中不一样的瓜时，可以判断出它是否是好瓜。

（注：记住训练样本就是所谓的机械学习。）

        所以我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标时找到与训练集匹配的假设，假设的表示一旦确定，假设空间及其规模大小也就确定了。

        在西瓜的这个例子中，我们的假设空间由“（色泽=？）^（根蒂=？）^（敲声=？）”的可能取值所形成的假设组成。

        例如色泽有“青绿”“乌黑”“浅白”这三种可能的取值，还需要考虑到，也许“色泽”无论取什么值都合适，我们用通配符“*”来表示，此外还要考虑到极端情况，有可能没有好瓜这个概念，我们用空集Ø来表示这个假设。这样，若“色泽”，“根蒂”，“敲击”分别由3、3、3中可能取值，再加上每一个都有“*”的可能，以及极端假设的情况，我们面料的假设空间规模大小为4*4*4+1=65。

        可以有许多策略对这个假设空间进行搜索，例如自顶向下、从一般到特殊，搜索过程中可以不断删除和正例不一致的假设、和与反例一致的假设，最终将会获得与训练集一致（即所有训练样本能够进行正确判断）的假设，这就是我们学得的结果。

（注：每一概念都有适当例证和不适当例证，前者为“正例”，后者被称为“反例”）

二、归纳偏好

        我们得到了假设空间，但是在现实问题中我们常面临很大的假设空间，学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称为“版本空间”。

        因为版本空间的存在，所以会给我们带来一个麻烦：现在有两个与训练集一致的假设，但与它们对应的模型在面临新样本的时候，却会产生不同的输出。

        例如：对（色泽=青绿；根蒂=蜷缩；敲声=沉闷）这个新到的瓜，如果我们采用的是“好瓜⇋（色泽=*）^（根蒂=蜷缩）^（敲声=*）”，那么将会把新瓜判断为好瓜，而如果采用了另一个假设“不是好瓜⇋（色泽=青绿）^（根蒂=*）^（敲声=*）”，则会判断为不是好瓜。那么我们应该采用哪一个模型（或假设）呢？

        这里“归纳偏好”，简称“偏好”就起到了关键作用，也就是机器学习算法在学习过程中对某种类型假设的偏好，简单来说就是对哪一个特征或模型更相信，可以看作学习算法本身在一个可能很庞大的假设空间中的“价值观”。如何来引导算法树立正确的偏好呢？

        “奥卡姆剃刀”（Occam‘s razor）是一种常用的、自然科学研究中最基础的原则，即“若有多个假设与观察一致，则选择最简单的那个”。在具体实例当中，“选择什么样的模型更好”的假设，有时并不是很容易，需要借助其他机制才能解决。算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否得到好的性能。

        但会通过本书的相关数学证明（此处可以看书里的具体分析，本文也提到，跳过这个分析，不会影响理解），无论学习算法A多聪明，学习算法B多笨拙，它们的期望性能竟然相同！也就是“没有免费的午餐”（NFL定理）。这个定理最重要的寓意，是让我们清楚地认识到，脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义，因为如果考虑所有潜在的问题，则所有学习算法都一样好，要谈论算法的相对优劣，必须要针对具体的学习问题，在某些问题上表现好的学习算法，在另一些问题上却可能不尽如人意，学习算法自身的归纳偏好与问题是否匹配，往往会起到决定性的作用。