我们在假设一个模型来拟合数据集时,需要找到最合适的模型,不断地扩大数据集、增加提取特征是见效甚微的方法,比较好的是对数据集进行合理的划分,将整个数据集划分为三个部分:训练集、交叉检验集、测试集。其中,训练集占七成,用来训练假设模型,可获得训练误差(training error);检查检验集可以作为选择模型的依据,获得检查检验误差(cross validation error);测试及用来检测模型,获得测试误差(test error)。它们的计算过程如下:
一般情况下,训练误差和检查检验误差会有如下的关系:
当训练误差和交叉检验误差大小相似、且值都很大的时候,属于假设模型欠拟合;
当交叉检验误差远大于训练误差、且训练误差值很小的时候,属于是假设模型过拟合;
只有当训练误差和交叉检验误差大小相似、且交叉检验误差值很小的时候,属于是较好的模型假设;