混淆矩阵、召回率、精确率、正确率、F1、真阳性率、假阳性率、ROC、AUC

$ConfusionMatrix:$

		真实
		1	0
预测	1	TP(命中)	FP(虚报)
	0	FN(漏报)	TN(正确拒绝)

召回率$Recall=\frac{TP}{TP+FN}$，关注真实情况，关注positive。“好瓜被挑出来的概率”

精确率$Precision=\frac{TP}{TP+FP}$，关注预测情况，关注positive。“挑出来的瓜有多少真的是好瓜”

正确率$Accuracy=\frac{TP+TN}{TP+FN+FP+TN}$，positive与negative预测的准确性

$F$值：
$$\frac{{\beta }^2+1}{F}=\frac{{\beta }^2}{R}+\frac{1}{P}$$

• ${\beta }^2=1$时，对于$F$，$R$、$P$ 影响权重相同,即常用的$F_1$；
• ${\beta }^2>1$时，对于$F$，$R$相比于$P$影响权重大，当重视召回率R时可以选择${\beta }^2>1$；
• ${\beta }^2<1$时，对于$F$，$R$相比于$P$影响权重小，当重视精确率P时可以选择${\beta }^2<1$；

真阳性率TPR，又可称为灵敏度，关注真实情况，关注positive,$TPR=\frac{TP}{TP+FN}$。
灵敏度：正例被挑出的概率。如果一项诊断试验的灵敏度比较低，那么会出现很多假阴性的患者。这会延误患者的就诊，影响病程发展和愈后，甚至导致患者过早死亡。

假阳性率FPR，又等于1-特异度，关注真实情况，关注negative,$FPR=\frac{FP}{FP+TN}$。
特异度：负例被挑出的概率。如果一项诊断试验的特异度比较低，那么会出现很多假阳性的患者。这样会浪费医疗资源、造成患者无端的恐慌和焦虑。

当选择不同的threshold时，$TPR、FPR$值会随之变化，遍历所有的threshold后，会得到一系列的$TPR、FPR$，用$TPR$作为$Y$轴，用$FPR$作为$X$轴，即得到$ROC$。

$ROC$主要作用:

• ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。

• 有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。

• 可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

AUC就是ROC曲线下的面积，衡量学习器优劣的一种性能指标。

KS

在风控中，我们常用KS指标来评估模型的区分度（discrimination）

$$KS=\max (|TPR-FPR|)$$
即ROC曲线切线位置。

《风控模型—区分度评估指标(KS)深入理解应用》