auc 的概率解释

关于 auc 是什么、怎么算，已经有很多博文在将了。
如果有时间再写。

今天写一下 auc 统计学意义的证明，也就是：auc 等价于随机抽取一个正样本和一个负样本，正样本排在负样本之前的概率。

The AUC has an important statistical property: the AUC of a classifier is equivalent to the probability that
the classifier will rank a randomly chosen positive instance
higher than a randomly chosen negative instance.

假设 $X$ 是样本空间， $T(t)$ 是 $TPR$ 关于阈值 $t$ 的函数，那么：
$$T(t)=P[p(x)>t|label(x)=1]$$
$F(t)$ 是 $FPR$ 关于阈值 $t$ 的函数，那么：
$$F(t)=P[p(x)>t|label(x)=0]$$
$F(t)$ 的概率密度函数：
$$f(t)=\frac{\partial F(t)}{\partial t}=P[p(x)=t|label(x)=0]$$

如果，我们把 $T(t)$ 看做 $F(t)$ 的函数，那么根据 auc 的定义，我们可以做如下推论：
$$\begin{gathered} AUC={\int }_0^{1}T(t)dF(t) \\ ={\int }_0^{1}T(t)\cdot \frac{\partial F(t)}{\partial t}dt \\ ={\int }_0^{1}P[p(x)>t|label(x)=1]\cdot P[p(x^{\prime })=t|label(x^{\prime })=0]dt(\forall x,x^{\prime }\in X) \\ ={\int }_0^{1}P[p(x)>t\&p(x^{\prime })=t|label(x)=1\&label(x^{\prime })=0]dt \\ ={\int }_0^{1}P[p(x)>p(x^{\prime })|label(x)=1\&label(x^{\prime })=0]dt \\ =P[p(x)>p(x^{\prime })|label(x)=1\&label(x^{\prime })=0]\cdot 1-P[p(x)>p(x^{\prime })|label(x)=1\&label(x^{\prime })=0]\cdot 0 \\ =P[p(x)>p(x^{\prime })|label(x)=1\&label(x^{\prime })=0] \end{gathered}$$

$P[p(x)>p(x^{\prime })|label(x)=1\&label(x^{\prime })=0]$ 表示随机抽取一个正样本和一个负样本，正样本排在负样本之前的概率，得证。

参考：
https://www.alexejgossmann.com/auc/

An introduction to ROC analysis