机器学习1-2章笔记

第一章

1.1 机器学习定义

数据+模型，“学习算法”

1.2 术语

• 属性空间/样本空间/输入空间：属性张成的空间

• 学习/训练：从数据中学得模型的过程

• 假设：学得模型对应了关于数据的某种潜在规律

1.3 假设空间

• 假设空间：学习过程是一个在所有假设组成的空间中进行搜索的过程

• 版本空间：一个与训练集一致的假设集合

1.4 归纳偏好

第二章 模型评估和选择

2.1 经验误差与过拟合

• 训练误差：学习器在训练集上的误差称为“训练误差”

• 泛化误差：在新样本/测试集上的误差

• 过拟合：学习器把训练样本学的太好，可能已经把训练样本自身的一些特点当作了所有潜在样本都具有的一般性质，一般来说，训练误差<<泛化误差的时候，可能发生了过拟合

• 欠拟合：对训练样本的一般性质尚未学好

2.2 评估方法

留出法、交叉验证法、自助法...