人工智能/机器学习基础知识——性能度量（Precision、Recall、F1、ROC、AUC）

性能度量

Precision、Recall、F1

准确率（查准率，查的准不准）、召回率（查全率，查的全不全）、F1

• P-R曲线

  CSDN

  Precision-Recall

  • 绘制：（以二分类为例）按样本分类的置信度（概率）从大到小对样本进行排序，按此顺序逐个把样本作为正例进行预测，则每次可以得到当前的P、R值，以此绘制P-R曲线

  • 性质

    • 模型C的PR曲线完全被模型A包住，则说明模型A优于模型C

    • 模型A与模型B的PR曲线交叉，则根据以下方式判断

      • PR曲线与坐标轴围成面积大小（不易判断）

      • 平衡点（Break-Even Point，BEP）：P=R时的坐标点。平衡点越大的模型可认为越优秀

    • P-R曲线对样本不均衡非常敏感

  

• F1

$$F1=\frac{2\ast P\ast R}{P+R}$$

• $F_{\beta }$

  F1的一般形式，能表达出对P/R的不同偏好

  • $\beta =1$时退化为标准的F1；$\beta >1$时R有更大影响；$\beta <1$时，P有更大影响

$$F_{\beta }=\frac{(1+{\beta }^2)\ast P\ast R}{({\beta }^2\ast P)+R}，\beta >0$$

ROC & AUC

CSDN

Receiver Operating Characteristic & Area Under ROC Curve

$$TPR=\frac{TP}{TP+FN}$$

$$FPR=\frac{FP}{TN+FP}$$

• 绘制：与P-R曲线类似先对样本进行排序，然后分别把分类阈值设置成样本的预测概率值，即依次把每个样例划分为正例

  • 注意：在上述绘制过程中，$TP+FN$与$FN+FP$是不变的，改变的只有$TP$与$FP$，所以ROC曲线其实是折线图

  • TRICK：若当前样本本身是正例，则往上画$\frac{1}{m^{+}}$；反之，往右画$\frac{1}{m^{-}}$

• 性质

  • 若一个学习器的ROC曲线被另一个学习器的曲线完全包含，则可断言后者的性能优于前者

  • 若两曲线交叉，则根据与坐标轴围成的面积进行判断，即AUC（Area Under ROC Curve）

  • ROC曲线对样本不均衡不敏感