3、分类器评估与比较全解析

分类器评估与比较全解析

在机器学习领域，分类器的评估与比较是至关重要的环节，它直接影响到分类器的构建与选择。下面将详细介绍分类器评估与比较的相关内容。

1. 分类器评估指标

在二分类问题中，混淆矩阵是常用的工具，它能清晰展示分类结果。以下是二分类问题的混淆矩阵：
| | 预测为正 | 预测为负 |
| — | — | — |
| 正类 | 真正例（TP） | 假负例（FN） |
| 负类 | 假正例（FP） | 真负例（TN） |

ROC曲线是召回率（Recall）与假正率（FPrate，即1 - 特异度）的图形表示。ROC曲线下的面积（AUC）可作为分类性能的一个综合指标，它对类别分布的偏斜不太敏感，因为它是召回率和特异度之间的权衡。然而，近期研究表明，AUC本质上是一种不一致的度量，因为它对每个分类器的误分类成本处理方式不同，而误分类成本应是问题本身的属性，而非分类方法的属性。因此，有人提出了H度量作为AUC的替代方案。

上述这些指标适用于二分类的不平衡学习问题，部分指标还可经过修改以适应多分类的不平衡学习问题。例如，有人将G - 均值的定义扩展为每个类别的召回率的几何均值；还有人定义了多分类不平衡问题的平均F - 度量，该度量的主要优点是对类别分布和错误成本不敏感。但对于存在多个少数类和多个多数类的多分类场景，这些扩展指标是否适用仍是一个待解决的问题。另外，还有人提出了M度量，它是一种基于AUC固有特性聚合所有类别对的通用方法。

需要注意的是，这些指标仅关注分类器的性能评估，而分类还有其他重要方面，如对噪声的鲁棒性、可扩展性、数据偏移下的稳定性等，这些方面并未在这些指标中体现。