第一章 绪论

1.1 引言

• 引言主要讲了本书的是通过学习机器学习来挑选西瓜，

1.2 基本术语

• 数据集：记录的集合（文中是收集了一批关于西瓜的数据）
• 示例/样本：关于一个事件或对象的记录（对一个西瓜的描述）
• 属性/特征：反应对象的性质（西瓜的色泽、根蒂、敲声）
• 分类/回归：预测值是离散值的学习任务/预测值是连续的学习任务
• 测试：学得模型后。使其进行预测的过程
• 预测样本：被预测的样本
• 学习器：即模型，看作学习算法在给定的数据和参数空间上的实例化
• Fx：学得f后，对x进行测试，可以得到其预测标记，即y=f（x）
• 一般的，预测任务希望通对训练集（x₁ ，y₁）（x₂ ，y₂）…（x_m ，y_m）进行学习，建立一个输入空间X到输出空间Y的映射:

分类类别	输出取值
二分类	通常令Y={-1, +1}或{0， 1}
多分类	\Y\ >2
回归类	Y∈R

• 聚类：将西瓜分成若干组，每组称为一个“簇”，这些自动形成的簇可能对应潜在的概念划分（深色瓜，浅色瓜等）但是“深色瓜，浅色瓜”在聚类学习中事先是不知道的，通常不拥有标记信息

类型	训练数据是否有标记	代表
监督学习	是	分类和回归
无监督学习	否	聚类

• 泛化能力：学得模型适应新样本的能力，具有强泛化能力的模型具有很好的适应整个样本空间

1.3假设空间

• 归纳/演绎：前者从特殊到一般，后者从一般到特殊

• 假设：学得模型对应某种潜在的规律

• 假设空间：可能的函数构成的空间称为假设空间

  好瓜↔（色泽= ★） （根蒂 = ★） （敲声 = ★）（★表示通配符）

  好瓜不存在的可能性，用∅表示这种假设。

• 通过许多策略对这个假设空间进行搜索。搜索策略包括如下：
  ①自顶向下或者自底向上
  ②从一般到特殊或者从特殊到一般
  搜索过程中不断删除与正比例不一致的假设、和（或）与反例一致的假设。学习结果将会是获得与训练集一致的假设。

• 版本空间：与训练集一致的假设合集。

1.4 归纳偏好

• 归纳偏好：算法在学习中对某种类型假设的偏好。
  当版本空间面临新样本时产生不同的输出。为了确定输出，偏好将起到重要作用。

尽可能特殊：
好瓜 ↔（色泽= ★）  （根蒂 = 蜷缩） （敲声 = 浊响）

尽可能一般：
好瓜 ↔（色泽= ★） ∩（根蒂 = 蜷缩） ∩ （敲声 = ★）或
好瓜 ↔（色泽= ★） ∩ （根蒂 = ★） ∩ （敲声 = 浊响）

但是由于某种原因更相信某种属性。例如更相信根蒂，则会确定为：
好瓜 ↔（色泽= ★） ∩（根蒂 = 蜷缩） ∩ （敲声 = ★）

• 归纳偏好具有必要性：任何一个有效的机器学习算法必有其归纳偏好。特别是庞大的假设空间中。

如图多个假设与观察一致，A曲线更平滑，B曲线更崎岖
但是最终的归纳偏好要结合实际进行选择。

没有最好的算法只有最合适的算法