机器学习笔记—— 第二章模型评估与选择

2.1 经验误差与过拟合

训练误差（或经验误差)：学习器在训练及上产生的误差
泛化误差：新样本上产生的误差

过拟合：当学习器把训练样本学得“太好”的时候，很可能就已经把训练样本自身的一些特点当作了所有潜在样本都具有的一般性质，导致泛化性能下降
欠拟合：对训练样本的一般性尚未学好

2.2 评估方法

通常，可通过试验测试来对学习器的泛化误差进行评估并进而做出选择。需要使用一个：“测试集”来测试学习器对新样本的判别里，然后以测试集上的“测试误差”作为泛化误差的近似。（测试集应尽可能的与训练集互斥）

产生训练集的常见几种方法：

• 留出法：将数据集D划分为两个互斥集合，常见的划分为：大约2/3-4/5的样本用作训练，剩下的用作测试。同时，由于划分的随机性，单次的留出法结果往往不够稳定，一般要采用若干次随机划分，重复实验取平均值的做法。
• 交叉检验法：先将数据集D划分为k个大小的相似的互斥子集(D₁,D₂,…,D_k)，每个子集D_i都尽可能保持数据分布的一致性。之后用k-1个子集的并集作为训练集，余下的子集作为测试集，进行k次训练和测试，返回k个测试结果的均值。
• 自助法：给定包含m个样本的数据集D，每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将该样本放回初始数据集D 中，使得该样本在下次采样时仍有可能被采到。重复执行m次，就可以得到了包含m个样本的数据集D’。