一、问题
1、测试集性能与真正的泛化性能未必一致
2、测试集不同反映的性能不同:多个测试集结果不同
3、机器学习算法本身有一定的随机性,同一个测试集上多次运行,可能会有不同的结果。
二、数学基础
B站:小元老师高数线代概率
三、一个测试集一种算法
(1)二项分布:
假设真实世界错误率为,则测试集中错误率的概念分布应该为二项分布
大致分布如图,其中峰顶对应横轴应为np,纵轴为错误率0.3。其中n为总样本数量。
(2)假设检验
1)置信区间:
四、多个测试集一种算法——t检验
1、根据多个测试集错误率,计算得样本(错误率)均值以及样本方差
2、又已知
详细推导见三大分布及正态总体下的抽样分布(待完善)_Checkmate9949的博客-CSDN博客三大分布及正态总体下的抽样分布(待完善)_Checkmate9949的博客-CSDN博客
3、以对应样本均值,真实错误率对应真实均值,则
与“一个测试集一种算法”同理,通过自由度(k-1)以及置信度alpha即可得出对应的临界值。超出临界值则拒绝原假设。
五、多个测试集两种算法——交叉验证t检验:验证两种算法是否存在显著差别
1、K折交叉验证:CSDN
2、变量及临界值
3、样本独立性
(1)测试集错误率相当于抽样样本,泛化错误率相当于总体。在K折交叉中,其训练集是重叠的,这就导致测试集错误率不独立,及抽样样本不独立,那么t分布也就不成立了。
(2)为解决上述问题。可应用5*2交叉验证法。
即做5次2折交叉验证。
六、一种测试集两种算法——McNemar检验
这里分子减一的目的:考虑连续性矫正。
七、多个测试集多种算法——Friedman检验与Nemenyi后验检验
1、多个测试集多种算法的比较思路
(1)每个数据集分别列出两两比较的结果;
(2)基于算法排序的Friedman检验。
2、Friedman检验的思路:
(1)通过留出法或交叉验证法得到每个算法在每个数据集的测试结果:
(2)原始Friedman检验
根据卡方分布性质便可确定临界值。
(3)Friedman检验
(4)Nemenyi后续检验
(5)例子
1)根据式
计算得
2)与k=3对应得临界值对比,发现其远远大于临界值,拒绝算法性能相同的原假设。
3)Nemenyi后续检验