机器学习算法笔记之7：模型评估与选择

一、经验误差与过拟合

我们通常把分类错误的样本数占样本总数的比例称为“错误率”，即如果在m个样本中有a个样本分类错误，则错误率E=a/m，1-a/m称为精度，精度=1-错误率。我们把学习器的实际预测输出与样本的真实输出之间的差异称为误差，学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差。

当学习器把训练样本学得太好的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化能力下降，称为过拟合。过拟合是机器学习面临的关键障碍，各类学习算法都必然带有一些针对过拟合的措施；然而必须认识到，过拟合是无法彻底避免的，我们所能做的只是缓解或者减小其风险。

二、评估方法

为了对学习器的泛化性能进行评估，我们需要一个“测试集”来测试学习器对新样本的判别能力，以测试集上的“测试误差”作为泛化误差的近似。通常我们假设测试样本是从真是样本中的独立同分布采样而得。需要注意的是，测试集应尽可能与训练集互斥，即测试样本尽量不在训练集中出现、未在训练过程中使用过。

1. 留出法

留出法直接将数据集D划分为两个互斥的集合，一个作为训练集S，另一个作为测试集T。训练集/测试集的划分要尽可能保持数据分布的一致性，如果从采样的角度来看待数据集的划分过程，通常采用“分层采样”。

由于存在多种划分方式多数据集D进行分割，不同的划分对应的模型评估也会存在差别。单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。

2. 交叉验证法

交叉验证法（crossvalidation）先将数据集D划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性，即从D中通过分层采样得到。每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可得到k组训练集/测试集，可进行k次训练和测试，最终返回这k次测试结果的均值，称“k折交叉验证”。

与留出法相似，将数据集D划分为k个子集同样存在多种划分方式，因此k折交叉验证通常也要随机使用不同的划分方式重复p次，最终的评估结果是这p次k折交叉验证