【机器学习】评价指标 - 混淆矩阵confusion matrix, 准确率，召回率

混淆矩阵

.	预测正确（接受）	预测错误（拒绝）
真	$TP$	$TN$(第一类分类错误，去真）	$P$
假	$FP$（第二类分类错误，存伪)	$FN$	$N$

列表示：实际属性
行表示：预测值

• $FP$
  第一类分类错误

  • $TN$
    第二类分类错误

  • $FP\ rate$
    

    $$FP \ Rate = \frac{FP}{N}= \frac{FP}{TN+FP}$$

  • $Specificity$
    

    $$Specificity = 1 - FP \ Rate = \frac{TN}{N}= \frac{TN}{FN+FP}$$

  • $Recall$

    ​
    

    $$Recall = \frac{TP}{P}= \frac{TP}{TP+TN}$$

  • $Precision$
    

    $$Precision = \frac{TP}{TP + FP}$$

  • $Accuracy$

  • $$Accuracy = \frac{TP+FN}{P+N}$$
    • $F-score$
      $$F-Score = Precision \times Recall$$

    ROC曲线 AUC曲线

    以上这些都属于静态的指标，当正负样本不平衡时它会存在着严重的问题。极端情况下比如正负样本比例为1:99（这在有些领域并不少见），那么一个基准分类器只要把所有样本都判为负，它就拥有了99%的精确度，但这时的评价指标是不具有参考价值的。另外就是，现代分类器很多都不是简单地给出一个0或1的分类判定，而是给出一个分类的倾向程度，比如贝叶斯分类器输出的分类概率。对于这些分类器，当你取不同阈值，就可以得到不同的分类结果及分类器评价指标，依此人们又发明出来ROC曲线以及AUC（曲线包围面积）指标来衡量分类器的总体可信度。

    可视化解释

    • 图表示

    

    • 计算Precision 的点

    

    $$Precision = \frac{ 分类1中1的数量} {分类1中1的数量 +分类1中 0的数量 }$$
    • 计算Recall的点

    

    $$Recall =\frac{分类1中1的数量}{分类1中1的数量 +分类0中1的数量}$$