分类模型常见F1分数、精确率、召回率、正确率、虚警率和漏检率、平衡精度、AUC等性能评价指标

最新推荐文章于 2024-10-22 21:13:13 发布

置顶疯狂java杰尼龟

最新推荐文章于 2024-10-22 21:13:13 发布

阅读量8.4k

点赞数 10

分类专栏： # Outlier Detection 机器学习文章标签：机器学习异常检测深度学习分类模型性能评价指标

本文链接：https://blog.csdn.net/qq_16488989/article/details/109090801

版权

机器学习同时被 2 个专栏收录

19 篇文章 3 订阅

订阅专栏

Outlier Detection

9 篇文章 1 订阅

订阅专栏

21.8.2更新平衡精度（Balanced-Accuracy）、TPR、TNR、AUC和ROC曲线

1、常见的几种预测情况

TP ,True Positive,表示把正类预测为正类
TN,True Negative,表示把负类样本预测为负类
FP,False Positive,表示把负类预测为正类
FN,False Negative,表示把正类预测为负类。

这个是需要记忆的。T代表正确预测，F代表错误预测。P代表正类，N代表负类。

“狼来了”的故事模型
在这里插入图片描述

2、精确率和召回率（Precision And Recall）

精确度/精确率（Precision）是针对预测结果而言的，表示预测为正的样本中真正的正样本占比。预测为正分两种情况，一种是把正类预测为正类(TP)，另一种是把负类预测为正类(FP)，即
在这里插入图片描述
召回率/真阳性率（Recall）是针对原来的样本而言的，表示样本中的正类有多少被预测正确了。同样分两种情况，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)，即

要全面评估模型的有效性，必须同时检查精确率和召回率。遗憾的是，精确率和召回率往往是此消彼长的情况。也就是说，提高精确率通常会降低召回率值。

3、F1-分数（F1-Score）

精确率(Precision)和召回率(Recall)评估指标,理想情况下做到两个指标都高当然最好，但一般情况下，Precision高，Recall就低，Recall高，Precision就低。

所以在实际中常常需要根据具体情况做出取舍，例如一般的搜索情况，在保证召回率的条件下，尽量提升精确率。而像癌症检测、地震检测、金融欺诈等，则在保证精确率的条件下，尽量提升召回率。

引出了一个新的指标F-score,综合考虑Precision和Recall的调和值。
在这里插入图片描述
· 当β=1时，称为 F1-score或者 F1-Measure，这时，精确率和召回率都很重要，权重相同。
· 当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，
· 如果我们认为召回率更重要些，那就调整β的值大于1。
常见的F1分数**(F1-Score**)计算公式如下：
在这里插入图片描述
举个例子：某地区新冠病毒检查数据样本有10000个，其中5个样本核酸检测呈阳性，其它多次检测都是阴性。假设分类模型在多次检测都是阴性的数据9995中预测正确了9990个，在5个核酸检测呈阳性数据中预测正确了4个，此时TP（正->正）=4，TN（负->负）=9990，FP(负->正)=5，FN(正->负)=1。
注：这里正类表示核酸检测呈阳性，负类表示多次检测呈阴性。
根据准确度（准确率），精确率和召回率的计算公式：
在这里插入图片描述

Accuracy = (4+9990) /10000=99.94% 
Precision = 4/(4+5)= 44.44% 
Recall = 4/(4+1) = 80.00%
F1-score=2×(44.44% × 80%)/(1×44.44%+80%)=57.13% 
F2-score=5× (44.44% × 80%)/(4×44.44%+80%)=68.96%

4、其他常见性能评价指标

正确率/准确度(Accuracy)表示正负样本被正确分类的比例在这里插入图片描述

虚警率（False alarm）表示负类样本被分为正类样本比例。
在这里插入图片描述
对应上述的例子就是1/5,20%

漏警率表示（Missing alarm）表示正类样本被分为负类样本的比例。
在这里插入图片描述
对应上述的例子就是5/9995,0.05%

5、平衡精度（Balanced Accuracy）

补充：其实TPR就是召回率。
在这里插入图片描述
TNR（True Negative Rate）可以理解为所有负类中，有多少被预测成负类（负类预测正确），给出定义如下：

说完这两个概念以后，我们来了解平衡精度，它的提出是为了解决异常检测问题中样本数据不均衡的问题。试想如果一个异常检测任务的异常样本占比很小很小（比如0.1%）,那么全部样本预测为负，准确率就达到了99.9%，这样显然不能达到我们检测的目标，因为正类本来就少还没检测出来。
在这里插入图片描述

6、AUC

同样是为了规避样本不均匀带来的问题，AUC是通过以虚警率FPR为X轴，召回率TPR为y轴所绘制的ROC曲线下的面积。

还是异常检测的例子，如果使用AUC，把所有样本预测为负例，TPRate和FPRate同时为0（没有Positive），与(0,0) (1,1)连接，得出AUC仅为0.5，成功规避了样本不均匀带来的问题。

在这里插入图片描述

参考

1.https://blog.csdn.net/sinat_35821976/article/details/81334181
2.https://blog.csdn.net/And_ZJ/article/details/105917794
3.http://www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
4.https://www.cnblogs.com/wushaogui/p/9146049.html
5.https://blog.csdn.net/saltriver/article/details/74012163
6.https://blog.csdn.net/zhq9695/article/details/82909967
7.https://blog.csdn.net/shiyuzuxiaqianli/article/details/99706843
8.https://www.zhihu.com/question/39840928