快速求解 best F1-score 以及对应的阈值

问题描述

在二分类问题中，评测某种算法有很多指标，很多论文是通过比较 F1-score 来证明自己的算法是可行的。best F1-score 是指在不确定阈值的情况下，如何找到最合适的阈值，使得 F1-score 值最大。

F1-score 计算方法

TP/FP/TN/FN

	全称	真实值(标签，label)	预测值(predict)
TP	True Positive	1	1
FP	False Positive	0	1
TN	True Negative	0	0
FN	False Negative	1	0

Positive 与 Negative 是指预测，True 与 False 是指预测与结果是否一致。

精准度(precision)

$$precision=\frac{TP}{TP+FP}$$

召回率(recall)

$$recall=\frac{TP}{TP+FN}$$

F1-score

$$\text{F1-score}=\frac{2\ast recall\ast precision}{recall+precision}$$

当然，如果感兴趣的话可以代入求解

$$\begin{gathered} \text{F1-score}=\frac{2\ast \frac{TP}{TP+FP}\ast \frac{TP}{TP+FN}}{\frac{TP}{TP+FP}+\frac{TP}{TP+FN}} \\ =\frac{2\ast TP}{2\ast TP+FP+FN} \end{gathered}$$

根据阈值打标

很多算法进行二分类时，返回的是二分类的概率值，然后根据阈值来确定具体分类。

一般情况下，都是通过比较大小关系而进行标记。换句话说，对于概率值序列 S = { a 0 , a 1 , . . . , a n − 1 } S=\{a_0,a_1,...,a_{n-1}\} S={a0​,a1​,...,an−1​}，需要找到最好的阈值 $\alpha$ ，如果 $a_i\ge \alpha$ 则，$pre{d}_i=1$。一般而言，$\alpha \in S$。

找到最合适的阈值

直接使用 sklearn 提供的方法比较简单，但这里先简单介绍一下基本原理。

计算方法也非常简单粗暴，直接把可能阈值全部计算一遍，得到一个 F1-score 数组，然后找到最大值以及对一个的阈值即可。

from sklearn.metrics import precision_recall_curve
import numpy as np

predict = [0.1, 0.2, 0.3, 0.4, 0.5, 
           0.5, 0.6, 0.6, 0.7, 0.7,
           0.8, 0.8, 0.8, 0.8, 0.8,
           0.8, 0.9, 0.9, 0.9, 0.9]

label =   [0, 0, 0, 0, 0, 
           1, 1, 0, 1, 1,
           1, 1, 1, 1, 1,
           1, 1, 1, 1, 1]

precisions, recalls, thresholds = precision_recall_curve(label,predict)

# 拿到最优结果以及索引
f1_scores = (2 * precisions * recalls) / (precisions + recalls)
best_f1_score = np.max(f1_scores[np.isfinite(f1_scores)])
best_f1_score_index = np.argmax(f1_scores[np.isfinite(f1_scores)])

# 阈值
best_f1_score, thresholds[best_f1_score_index]

输出的内容为：

(0.9333333333333333, 0.5)

Smileyan
2021.7.9 18：28