(1)ROC(Receiver Operating Characteristic)受试者工作特征:研究学习器泛化能力
根据学习器的预测结果对样例进行排序,按此顺序逐个把样本作为正例进行预测,每次计算出两个重要量的值,得到ROC曲线。
ROC的横轴是假正例率,纵轴是真正例率。
如果一个学习器的ROC曲线被另一个的完全包围,则可断言后者的性能优于前者;若两个曲线发生交叉则较为合理的是比较ROC曲线下的面积,即AUC。
(2)代价敏感错误率与代价曲线
依据:不同类型的错误造成的后果不同
因此建立一个代价矩阵,区分各个类别错误的损失程度。
ROC曲线不能直接反映出学习器的期望总体代价,代价曲线可以。
(3)比较检验
统计假设检验为我们进行学习器性能比较提供了重要依据,基于假设检验的结果,我们可以推断出,若在测试集上观察到学习器A比B好,则A的泛化性能是否在统计意义上优于B
(1)假设检验:根据测试错误率推出泛化错误率的分布
(2)交叉检验t检验:根据差值来对学习器B与学习器A性能相同这个假设做t检验
(3)McNemar检验:假设两学习器性能相同,则两者在对应测试集上的性能相同