auc到多少有意义_模型评价指标简介-从准确度到AUC

一、模型评价指标简介

模型评价指标是为了衡量模型的泛化能力而建立的指标。对于分类和回归两类监督学习，分别有各自的评判标准。

二、分类模型评价指标

混淆矩阵：

实际表现

实际表现

1

0

预测值

1

TP

FP

预测值

0

FN

TF

说明：

T/F:表示是否判断正确

P/N：表示预测值为1或0

举例：样本为10个人的信息，8个为感冒，2个为不感冒，医生在8个感冒的人中判断出5个，在2个不感冒的人中判断出1个。

1、准确率

公式

$$

准确率=(TP+TN)/(TP+TN+FP+FN)

$$

含义

针对全体样本，代表整体的预测准确度，既包含正样本也包含负样本。

缺点

在样本不平衡的情况下，不能作为很好的指标来衡量结果。

此样本不平衡，假如设计一个模型将所有的用户判断为正样本，则准确率为80%，准确率虽然很高但实际并不是一个好的模型。

举例

准确率=6/10

2、精准率(查准率)

公式

$$

精准率=TP/(TP+FP)

$$

含义

针对预测样本，代表对正样本的预测准确率，即所有被预测为正的样本中实际为正的样本的概率。

举例

精准率=5/(5+1)=5/6

3、召回率(查全率)

公式

$$

召回率=TP/(TP+FN)

$$

含义

针对原样本，在实际为正的样本中被预测为正样本的概率。

举例

召回率=5/8

适用场景及特点

在更关心覆盖率的情况下如反欺诈，即宁愿将负样本虚报为正样本，也不愿意放过一个正样本。召回率越高，代表正样本被预测出来的概率更大。

4、ROC/AUC

相关指标(1)真正率(灵敏度、召回率)——覆盖率

$$

真正率=TP/(TP+FN)

$$

含义：在正样本中预测为正的概率。

(2)假正率(1-特异度) ——虚报率

$$

假正率=FT/(FP+TN)

$$

含义：在负样本中虚报为正的概率。

含义

ROC：覆盖率与虚报率结对组成的结合曲线。

AUC：覆盖率与虚报率结对组成的结合曲线的线下面积。

优点

可以无视样本的不平衡，因为真正率和假正率分别是基于实际样本的1和0出发的，分别在实际的正样本和负样本中观察相关概率问题。

举例说明：真正率只关心8个病人中有多少可以被预测出感冒，而假正率只关心2个人中有多少被误判为感冒。

比较

AUC比ROC计算更高效。

三、参考