小吴的《机器学习 周志华》学习笔记 第二章 2.4 比较检验、2.5 偏差与方差

小吴的《机器学习 周志华》学习笔记 第二章 2.4 比较检验、 2.5 偏差与方差

2.4 比较检验

上一周提到了实验的评价方法和性能量度，步骤简单可以看成：先使用某种实验评估方法测得学习器的某个性能量度的结果，然后对这些结果进行比较。但是如何进行“比较”？直接比较大小吗？
其实要复杂的多。这里面涉及了几个因素：1. 希望比较的是泛化性能，然而通过实验评估方法我们获得的是测试集上的性能，这两者对比结果可能未必相同；2. 测试集上的性能与测试集本身选择有关，测试结果会不同；3. 很多机器学习算法有一定的随机性，即使相同参数在相同测试集上运行，结果也会不同。
所以这时，我们需要统计假设验证（hypothesis test）。基于假设结果我们可以推断出，若在测试集上观察到学习器A比B好，则A到泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。这里默认一错误率为性能量度，用ε表示。

2.4.1 假设检验

泛化错误率为ε的学习器在一个样本上犯错误的概率为ε，（接下来的符号太多，看手写的图片吧，字丑请见谅）：
则这符合二项分布，ε=0.3时，则10个样本中测得3个被误分类的概率最大：