基础指标
错误率:测试样本中错判比例
精度:1-错误率
训练集和测试集划分方法:
1.留出法
总数据集D=训练集S+测试集T
传统的三七开之类的,三成测试集,七成训练集。一般还要采用分层采样,让测试集和训练集中正负样本比例相同。
单次留出法往往不够可靠,一般会随机多次。
2.交叉验证法
k折交叉验证即将全部样本D分成k份,然后选出其中k-1份当作训练集,剩余1份当作测试集,并将此过程重复k次(每次的测试集都不同)。
划分时也可选用多种划分方式,一般k折交叉验证通常要随机使用不同的划分方式重复p次,这叫p次k折交叉验证。
如果样本一共只有m个,然后取k=m,这叫留一法,这样就不受随机样本划分的影响了,由于训练集比较接近D,所以效果往往比较准确,但是耗时多。
3.自助法
上面两种方法都不太能完全利用D训练(留一法耗时太多),为了解决这个问题,提出自助法(bootstrapping)。
给定包含m个样本的数据集D,有放回的采样m次,每次拿1个样本,(注意采样总数和数据集D的样本总数是一样的!!!),这样可以得到D',D'作为训练集,D\D'作为测试集,这样的测试结果也叫“包外估计”。
自助法在数据集较小、难以有效划分训练/测试集时很有用。且能从初始数据集中产生多个不同的训练集,对集成学习比较好。
但是也有缺点,改变了初始数据集的分布,会引入估计偏差,所以在数据集充足的情况下还是留出和交叉验证好一些。