【ML】Confusion Matrix, True/False x Pos/Neg, Precision-Recall, F1/F-beta/G Score, etc

Backto ML Index

用于分类结果的量化评价, 首先, 4 个 值, [True False] * [Positive Negative],

这四个类别的划分, 要从后往前看, 先区分分类的结果是 Positive or Negative, 之后, 再与 Ground Truth 做对比, 一致的前面加 True, 否则加 False.

分类的结果统计一下, 可以构成 Confusion Matrix

然后在 TP, TN, FP, FN 这四个类别的基础上, 衍生出来一大批的专门术语, 没办法, 因为 classification 问题太广泛太基础, 被研究的太精细了.

更多的, 更详细的, 去下面的 wiki 中找吧.

PR曲线

• Recall, 召回率, 顾名思义, 就是在初始样本中有多少TP被 recall 了, $Recall=\frac{TP}{P}=\frac{TP}{TP+FN}$
• Precision, 精准度, 顾名思义, 就是在预测结果为Postive的样本中, 有多少是真的 TP, $Precision=\frac{TP}{TP+FP}$

由此绘制 PR 曲线, 通常是这样,

左端, P为 100%(或快速上升到 100%), 可能只处理了一两个样本, 因此, R很低. 向右推移, 所有的 Positive 逐渐被 全部被 Recall, R 接近 100%, 但是肯定掺杂着越来越多的 FP, P逐渐走低.

F1-Score

F1 score 是一个平均数, 对精确率与召回率的调和平均数。

F1 score 取值范围 [0,1], 认为 precision 和 recall 同样重要，都高的时候，F1 score 才更高。

F-beta Score

$F_{\beta }$ Score 是 对 R 和 P 赋予不同权重，${\omega }_{recall}=\beta {\omega }_{precision}$

$F_2$ Score：recall 权重是 precision 的两倍;
$F_{0.5}$ Score: precision 权重是 recall 的两倍

G Score

G Score 是 P 和 R 的几何平均数

---

Ref

• Sensitivity & Specificity Wikipedia
• Confusion matrix