机器学习中对假设模型的评估

我们在假设一个模型来拟合数据集时，需要找到最合适的模型，不断地扩大数据集、增加提取特征是见效甚微的方法，比较好的是对数据集进行合理的划分，将整个数据集划分为三个部分：训练集、交叉检验集、测试集。其中，训练集占七成，用来训练假设模型，可获得训练误差（training error）；检查检验集可以作为选择模型的依据，获得检查检验误差（cross validation error）；测试及用来检测模型，获得测试误差（test error）。它们的计算过程如下：

一般情况下，训练误差和检查检验误差会有如下的关系：

当训练误差和交叉检验误差大小相似、且值都很大的时候，属于假设模型欠拟合；

当交叉检验误差远大于训练误差、且训练误差值很小的时候，属于是假设模型过拟合；

只有当训练误差和交叉检验误差大小相似、且交叉检验误差值很小的时候，属于是较好的模型假设；