机器学习ZEMI002

1.3 假设空间

首先书中解释了「归纳」（induction）与「演绎」（deduction），归纳是指从特殊到一般的“泛化”（generalization），而演绎则是从一般到特殊的“特化”（specialization）。[附百度百科定义：归纳与演绎是写作过程中逻辑思维的两种方式。人类认识活动，总是先接触到个别事物，而后推及一般，又从一般推及个别，如此循环往复，使认识不断深化。归纳就是从个别到一般，演绎则是从一般到个别。]

我们所说的‘学习’，就是从有限的知识中推断出可以广泛使用的理论，这显然是上一段中写到的「归纳」。

接下来解释假设空间，在本书中提到的例子，我们想判断一个西瓜是不是好瓜，我们假设一个瓜是不是好瓜完全由色泽、根蒂、敲声这三个要素来判断。也就是说我们只要知道一个瓜的这三个属性，就可以判断它是不是好瓜。于是，我们将学到的概念是“好瓜是某种色泽，某种根蒂，某种敲声的瓜”。

接下来遇到一个问题，每个瓜的每个属性都不尽相同，怎么从中找到规律呢？这里就要引入一个概念：假设空间。学习可以看做是从对一个问题的所有假设中找到合适答案的过程，简单来说，就是从一个问题的所有可能性中找到最有可能的那一种或几种。假设空间就是用来表示这个的，还拿瓜的例子来说，我们假设瓜的三种属性中，色泽分为‘青绿’、‘乌黑’、‘浅白’三种，根蒂分为‘蜷缩’、‘硬挺’、‘稍蜷’，敲声则分为‘浊响’、‘清脆’、‘沉闷’。好瓜的可能性包括：每种属性中的一个或这种属性不影响结果，或者根本不存在好瓜这种东西，那么这里假设空间就是，其中的4表示‘青绿’、‘乌黑’、‘浅白’或都可以，最后的1表示不存在好瓜。我们知道了假设空间后，就可以用我们手头已有的数据去筛选，找到符合训练集中好瓜条件的假设，可能会有多个假设与训练集一致，这些假设的集合被称为“版本空间”（version space）。

1.4 归纳偏好

这里简单说下，具体的可以在书中查看。在上文中，我们说过版本空间包含的假设都是符合训练集的，也就是版本空间的每一个假设都可以作为判断是不是好瓜的标准。但是，我们要选取哪种就成为了下一个问题，归纳偏好就是我们人为设置的一种偏好，我们可以主观上给某一种标准更多的偏爱，例如，我们选取比较具体的标准，也就是规定色泽、瓜蒂和敲声，我们也可以选取一个比较宽松的标准，例如，只规定色泽，瓜蒂和敲声任意（当然这必须符合版本空间）。那有没有正确的“偏好”呢？其实是没有的，这需要具体情况具体分析，在后面参考中有一些可以借鉴的信息。

参考

奥卡姆剃刀（Occam’s Razor）：奥卡姆剃刀定律（Occam’s Razor, Ockham’s Razor）又称“奥康的剃刀”，它是由14世纪英格兰的逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出。这个原理称为“如无必要，勿增实体”，即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。”

没有免费的午餐（No Free Lunch Theorem）：

1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同；

2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；

3）对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同；

4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同。

NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。