小吴的《机器学习 周志华》学习笔记 第二章 2.4 比较检验、 2.5 偏差与方差
2.4 比较检验
上一周提到了实验的评价方法和性能量度,步骤简单可以看成:先使用某种实验评估方法测得学习器的某个性能量度的结果,然后对这些结果进行比较。但是如何进行“比较”?直接比较大小吗?
其实要复杂的多。这里面涉及了几个因素:1. 希望比较的是泛化性能,然而通过实验评估方法我们获得的是测试集上的性能,这两者对比结果可能未必相同;2. 测试集上的性能与测试集本身选择有关,测试结果会不同;3. 很多机器学习算法有一定的随机性,即使相同参数在相同测试集上运行,结果也会不同。
所以这时,我们需要统计假设验证(hypothesis test)。基于假设结果我们可以推断出,若在测试集上观察到学习器A比B好,则A到泛化性能是否在统计意义上优于B,以及这个结论的把握有多大。这里默认一错误率为性能量度,用ε表示。
2.4.1 假设检验
泛化错误率为ε的学习器在一个样本上犯错误的概率为ε,(接下来的符号太多,看手写的图片吧,字丑请见谅):
则这符合二项分布,ε=0.3时,则10个样本中测得3个被误分类的概率最大: