ROC/AUC、准确率、精确率、召回率、F1值

目录

1 ROC/AUC：ROC/AUC

2 准确率、精确率、召回率、F1值：准确率、精确率、召回率、F1值

3 总结

3.1 定义

3.2 ROC和PR曲线大致走势

3.3 为什么要选择ROC、从AUC判断分类器（预测模型）优劣的标准、不同模型AUC的比较，见1中链接

---

1 ROC/AUC：ROC/AUC

2 准确率、精确率、召回率、F1值：准确率、精确率、召回率、F1值

3 总结

3.1 定义

混淆矩阵如下：

ROC曲线的横坐标为假阳性率（False Positive Rate, FPR）：

ROC曲线的纵坐标为真阳性率（True Positive Rate, TPR）：

准确率（Accuracy）：

精确率（Precision）：

召回率（Recall）：

F1值（H-mean值）：

 

从定义可以看出，和的表达式相同。

3.2 ROC和PR曲线大致走势

ROC曲线：在一个二分类模型中，假设采用逻辑回归分类器，其给出针对每个实例为正类的概率，那么通过设定一个阈值如0.6，概率大于等于0.6的为正类，小于0.6的为负类。对应的就可以算出一组(FPR，TPR)，在平面中得到对应坐标点。随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，则混淆矩阵的第一列增大，第二列减小，即TPR和FPR会同时增大。阈值最大时，对应坐标点为(0,0)，阈值最小时，对应坐标点(1,1)。可知，ROC曲线应呈上升趋势。

PR曲线：和上面相同的例子，随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，则混淆矩阵的第一列增大，第二列减小。由Recall的表达式可知，TP增大，FN减小，分析出Recall应增大；由Precious的表达式可知，TP和FP同时增大，但阈值降低了，分类的精确率大概率会降低，即Precious大概率为降低。可知，PR曲线应呈下降趋势（有可能有些点会上升）。

3.3 为什么要选择ROC、从AUC判断分类器（预测模型）优劣的标准、不同模型AUC的比较，见1中链接