周志华机器学习第二章读书笔记（二）

(1)ROC(Receiver Operating Characteristic)受试者工作特征：研究学习器泛化能力

根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，得到ROC曲线。

ROC的横轴是假正例率，纵轴是真正例率。

如果一个学习器的ROC曲线被另一个的完全包围，则可断言后者的性能优于前者；若两个曲线发生交叉则较为合理的是比较ROC曲线下的面积，即AUC。

（2）代价敏感错误率与代价曲线

依据：不同类型的错误造成的后果不同

因此建立一个代价矩阵，区分各个类别错误的损失程度。

ROC曲线不能直接反映出学习器的期望总体代价，代价曲线可以。

（3）比较检验

统计假设检验为我们进行学习器性能比较提供了重要依据，基于假设检验的结果，我们可以推断出，若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B

（1）假设检验：根据测试错误率推出泛化错误率的分布

（2）交叉检验t检验：根据差值来对学习器B与学习器A性能相同这个假设做t检验

（3）McNemar检验：假设两学习器性能相同，则两者在对应测试集上的性能相同