最近在打kaggle的比赛,看到很多人都用了K折验证法,以前也接触过这部分知识,想上网查点资料再巩固一下这部分知识,发现很多人根本连验证集和测试集都没搞清楚,说的云里雾里的,于是就想自己总结一下K折验证法的基本概念,顺便总结一下机器学习中的模型评估方法。
Holdout检验
Holdout检验是最简单也是最直接的验证方法,它将原始的样本集合随机划分成训练集和验证集两部分。比方说,对于某一个模型,我们把样本按照70%~30%的比例分成两部分,70%的样本用于模型训练;30%的样本用于模型验证,包括绘制ROC曲线、计算精确率和召回率等指标来评估模型性能。
Holdout检验的缺点很明显,即在验证集上计算出来的最后评估指标与原始分组有很大关系。为了消除随机性,研究者们引入了“交叉验证”的思想。
交叉验证
k-fold交叉验证:首先将全部样本划分成k个大小相等的样本子集;依次遍历这k个子集,每次把当前子集作为验证集,其余所有子集作为训练集,进行模型的训练和评估;最后把这k次评估指标的平均值作为最终的评估指标。
留一验证:每次留下一个样本作为验证集,其余所有样本作为训练集。样本总数为n,依次对n个样本进行遍历,进行n次验证,再将评估指标求平均值得到最终的评估指标。在样本总数较多的情况下,留一验证法的时间开销极大。实际上,留一验证是留p验证的特例。留p验证是每次留下p个样本作为验证集,其时间开销远远高于留一验证,故而很少在实际工程中被应用。
自助法
不管是Holdout检验还是交叉检验,都是基于划分训练集的方法进行模型评估的。然而,当样本规模较小时,将样本集进行划分会让训练集进一步减小,这可能会影响模型训练效果。自助法是可以比较好的维持训练集样本规模的验证方法。
自助法基于自助采样法的检验方法。对于总数为n的样本集合,进行n次有放回的随机抽样,得到大小为n的训练集。n次采样中,有的样本会被重复采样,有的样本没有被抽出过,将这些没有被抽出的样本作为验证集,进行模型验证,这就是自助法的验证过程。