Holdout检验
将原始数据集随机划分为训练集和验证集。评估指标与原始分组有很大关系。
交叉检验
k-fold交叉验证:划分为k个大小相等的样本子集,依次遍历子集,当前子集为验证集其余为训练集,最终将K次评估指标平均值作为最终评估指标。
留一验证:每次留下一个样本作为验证集,其余所有样本为测试集。样本数为n的情况下需遍历n次评估n次,时间开销极大。可视为留 p验证的特例。
自助法
基于自主采样法的检验方法,对于总数为n的样本集合,进行n次有放回的随机抽样,得到大小为n的训练集。抽到的就作为训练集,它们可能重复;没抽到的即为验证集。