1.3 假设空间 机器学习

归纳(induction)与演绎(deduction)是科学推理的两大基本手段.前者是从特殊到一般的“泛化”过程,即从具体的事实归结出一般性规律;后者则是从一般到特殊的“特化”过程,即从基础原理推演出具体状况.例如,在数学公理系统中,基于一组公理和推理规则推导出与之相洽的定理,这是演绎;而“从样例中学习”显然是一个归纳的过程,因此亦称“归纳学习”.
归纳学习有狭义与广义之分,广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念(concept)，因此亦称为“概念学习”或“概念形成”.概念学习中最基本的是布尔概念学习,即对“是”“不是”这样的可表示为0/1布尔值的目标概念的学习.举一个简单的例子,假定我们获得了这样一个训练数据集:

我们希望获得好瓜。其中，我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程,搜索目标是找到与训练集“匹配”的假设,即能够将训练集中的瓜判断正确的假设.假设的表示一旦确定,假设空间及其规模大小就确定了。注意，我们的假设空间包括色泽，根，敲声的所有不同排列和组合，当然包括没有出现在数据集中的组合。当然，也有可能我们的色泽（或其他）无论取什么值都合适，我们用*来表示。除了这个我们也要考虑极端情况，即，好瓜这个概念不存在，即存在一个空集。这样，若“色泽”“根蒂”“敲声”分别有3、2、2种可能取值,则我们面临的假设空间规模大小为4×3×3＋1= 37.（注意并不是单纯的种类排列组合）下图直观地显示出了这个西瓜问题假设空间：

我们在假设空间中进行搜索，搜索过程中可以不断删除与正例不一致的假设、和(或)与反例一致的假设.最终将会获得与训练集一致(即对所有训练样本能够进行正确判断)的假设,这就是我们学得的结果.
需注意的是,现实问题中我们常面临很大的假设空间,但学习过程是基于有限样本训练集进行的,因此,可能有多个假设与训练集一致,即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”(version space)、例如,在西瓜问题中,与训练集所对应的版本空间如图所示：