原理简介
用不同的随机种子来运行预留法(百分比分割),这叫重复预留法
交叉验证系统性重复运行预留法,它通过减少预测误差来提高预留法的性能
分层交叉验证
重复预留法
交叉验证
只分割一次,分成10份9份用作训练数据,剩余一份作为测试数据,接着用另外9份作为训练数据,.....重复10次,每次都用分割的不同的数据作为测试数据。换句话说,数据分为10份,每份轮流做测试集,其余作为训练集,平均10次的结果(10层交叉验证)。
分层交叉验证为交叉验证变体
选择一种能确保每一部分数据都具有分类代表性的分割
交叉验证后weka会对整个数据再运行一次然后产生一个分类器,这个就是最终使用的分类器
10层交叉验证是为了得到评估结果和误差最终再次分类得到分类器
weka默认分层交叉验证。
小结:使用10层交叉验证,需要进行11次算法运行,前十次用每一份数据,最后一次用整个数据集。足够多的数据可用重复预留法,不多用交叉验证。
两类数据100--1000的数据可以,百分之九十、百分之十分,10000条不需要交叉验证,交叉验证时间多。
交叉验证结果
使用训练数据集,得到基线精确度
十层交叉验证
改变随机种子,再次运行(随机种子为2时)
计算均值和样本标准差