【西瓜书】1.绪论

1.基本术语

（1）数据集不带最后一列：样本/示例/特征向量

        带最后一列：样例

（2）表头不带最后一列：属性/特征，属性空间/特征空间/样本空间/输入空间

         表头最后一列：标记/输出，标记空间/输出空间

（3）训练集：训练示例、训练样本、训练例

         测试集：测试示例、测试样本、测试例

（4）学习任务：分类(二分类/多分类)、回归、聚类

          分类和回归为监督学习，聚类为无监督学习

2.假设空间

（1）归纳：特殊到一般（泛化）

        演绎：一般到特殊（特化）

（2）从样例中学习是归纳学习

（3）假设空间是样本空间到标记空间的映射，是属性所有可能的取值组合构成的空间

（4）假设空间大小：sum(属性的取值数+1)+1，第一个+1表示取通配符*，第二个+1表示∅这种极端情况

（5）搜索假设空间：自顶向下（一般到特殊）、自底向上（特殊到一般）

        搜索过程中删除和正例不一致的假设

（6）假设空间的子集中，与训练集一致的空间的集合为版本空间，版本空间中的所有树都能将所有样本判断正确。版本空间包含了所有可能的决策树，这些决策树能够完美地对训练集进行分类，即没有误分类的样本。

3.归纳偏好

（1）版本空间中不同的模型在训练集上表现一致，选哪个去预测测试集？

（2）根据偏好选择比如特殊的、一般的、或根据领域知识决定某个属性取某某的（与特征选择不同）。

（3）原则：奥卡姆剃刀（选简单的平滑的）、没有免费的午餐（具体问题具体分析）