机器学习第一章

机器学习 周志华

1 绪论

1.2 基本术语

数据集、样本、属性、属性值、输入空间

训练集、测试集、验证集、输出空间

监督学习、分类、回归；无监督学习、聚类

泛化能力

1.3 假设空间、版本空间

  假设空间：“由输入空间到输出空间的映射的集合”。也就是由输入空间 X 到输出空间 Y 的映射 f : X -> Y 所构成的集合，该空间是一个函数空间，即由函数所构成的集合。

   第5页，“这里我们的假设空间由形如‘(色泽=?）$\cap$（根蒂=？）$\cap$ （敲声=?） ​’的可能取值所形成的假设组成”

  假设空间的一个元素就是 “色泽为a根蒂为b敲声为c的瓜是好瓜” 这么个假设。这里a，b，c都已经固定4个取值。再加上不存在好瓜这么个假设。一共$4\times 4\times 4+1=65$ 个元素。

  里面并不同时存在 色泽=1，根蒂=2，敲声=3 和 色泽=2，根蒂=3，敲声=1 都是好瓜的情况，因为这种情况无法决策。

  版本空间：“版本空间就是与训练集一致的所有假设所构成的集合”。也就是版本空间内的每个元素（假设），都与训练集不冲突。版本空间是假设空间的子集。

1.4 归纳偏好

机器学习算法在学习过程中对某种假设类型的偏好，称为假设偏好。

奥卡姆剃刀原则：若有多个假设与观察一致，则选择简单的那个。

简单也不不同的诠释。简单也没有统一的标准。

没有免费午餐定理。（NFL定理）