【机器学习】分类器性能指标

1. 错误率：

e = 错误分类个数/总样本数

2. 正确率：

TP：分类正确正例

TN：分类正确负例

FP：分类错误正例

FN：分类错误负例

precision = 分类正确的正类/(预测结果中被分为正类的个数)  = TP/(TP+FP)

3. 召回率：

recall = 分类正确的正类/(所有正类的个数) = TP/(TP+FN)

4. F1 score

5. ROC曲线

ROC（receiver operating characteristic）“受试者工作特征”。ROC纵轴为“真正例率”(TPR)，横轴是“假正例率”(FPR)，其中：

TPR = 分类正确正例/ 所有正例 = TP/(TP+FN)

FPR = 分类错误的正例/ 所有负例 = FP/(TN+FP)

生成过程：

① 将分类结果按照分成正例的概率从小到大排序，最左边即最不可能是正例的例子；

② 从左往右依次将每个样例设为阈值，阈值左边（包含当前样例）均判为正例，右边均判为负例；

③ 然后计算对应的TPR和FPR，即为RUC的一个坐标；（计算tipes：假设上一轮的坐标为（x,y）若当前的阈值是正例则更新y = y + 1/正例个数，若当前值是反例则更新x= x + 1/反例个数）。

由上图：

① 左上角表示性能最佳的分类器（所有样例分类正确），右下角表示性能最差的分类器（所有样例分类错误）。

②ROC曲线越靠左上角，分类器性能越好。 

③图中的虚直线表示“随机猜测”的ROC线，也就是有50%的样例被预测错误；

③ ROC所围成的区域的面积称为AUC，AUC越大分类效果越好。AUC > 0.5, 效果好于随机猜测。AUC = 0.5， 效果和随机猜测一样。AUC<0.5, 效果不如随机猜测。AUC代表了分类器的平均性能。

图中2和3的ROC曲线覆盖了1的，说明2和3的分类性能好；2和3的ROC曲线大部分重合，为了判断哪个更好，可以使用AUC面积来比较。