经验误差与过拟合

错误率：分类错误的样本占样本总数的比例

精度：1-错误率

误差：学习器实际预测输出与样本的真实输出之间的差异

训练误差(经验误差)：学习器在训练集上的误差

泛化误差：在新样本上的误差

过拟合：学习器把训练样本自身的特点当做所有潜在样本具有的一般性质。

欠拟合：对训练样本的一般性质尚未学好

【机器学习西瓜书】第二章(1):误差、过拟合和欠拟合，评估方法_交叉验证

过拟合不可避免，只能减低。

评估方法

   使用测试集来测试学习器对新样本的判别能力，然后以测试集上的测试误差作为泛化误差的近似。测试样本尽可能不在训练集中(不使用原题)。

对数据集D划分为训练集S和测试集T，常见做法:

（1）留出法

直接将数据集D划分为两个互斥的集合，其中一个作为训练集S，另一个作为测试集T。在S上训练模型后，用T连评估测试误差，作为对泛化误差的估计。

训练/测试集划分要尽可能保持数据分布的一致性。

（2）交叉验证法

将数据集D划分为k个大小相似的互斥子集，D=D1∪D2...∪Dk。

每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用K-1个子集的并集作为训练集，余下的子集作为测试集，可以获得k组训练/测试集，可进行k次训练和测试，最终返回的是k个测试结果的均值。(k折交叉验证)，k常用取值是10,。

【机器学习西瓜书】第二章(1):误差、过拟合和欠拟合，评估方法_机器学习_02

（3）自助法

在留出法和交叉验证法中，由于保留了一部分样本做测试，所以实际评估的模型比使用的训练集小，这样会引入一些因训练样本规模不同导致的估计偏差。

自助法：给定m个样本的数据集D，对D采样产生数据集D’：每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将样本放回初始数据集D中，使得该样本在下次采样时仍有可能被猜到；重复m次后，得到了包含了m个样本的数据集D’。

D中有一部分样本在D’中会多次出现，一部分不出现。 

【机器学习西瓜书】第二章(1):误差、过拟合和欠拟合，评估方法_数据集_03

 通过自助采样，初始数据集中大约有36.8%的样本未出现在采样数据集D’中，所以将D’作为训练集，D-D'作为测试集。