目标检测中的评价指标F-score AP mAP ROC/AUC的理解和使用

最新推荐文章于 2024-07-17 11:00:54 发布
最新推荐文章于 2024-07-17 11:00:54 发布
阅读量5.4k 收藏 22
点赞数 2
分类专栏： 功能实现 文章标签： 机器学习 python 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33511693/article/details/106081588
版权

文章目录


  深度学习测试模型效果的时, 经常会使用一些特定的评价指标. 根据数据集的分布情况以及使用侧重的效果可以选择不同的指标进行评价. 一般常用的评价指标有F-score、mAP、ROC/AUC. 在介绍这三种评价指标之前首先了解下准确率、召回率、精准率、IOU等指标的概念和计算方式.

IOU、precision、 recall、 accurancy

  Precision，准确率/查准率。Recall，召回率/查全率。这两个指标分别以两个角度衡量分类系统的准确率。目标检测中计算查准率和召回率之前需要需要计算检测框的IOU值, 并根IOU值判断是否预测正确.

  1. IoU这一值，可以理解为系统预测出来的框与原来图片中标记的框的重合程度。 计算方法即检测结果Detection Result与 Ground Truth 的交集比上它们的并集，即为检测的准确率。
    　　IOU是这种Detect box和Ground truth的差异的指标：
    　　 I O U = g r o u n d t r u t h ∩ D e t e c t T r u t h g r o u n d t r u t h ∪ D e t e c t T r u t h IOU=\frac{ground truth\cap Detect Truth}{ground truth\cup Detect Truth} IOU=groundtruth∪DetectTruthgroundtruth∩DetectTruth​
    　　
    　　 针对目标检测任务中会设定一个IOU threshold, 当预测的box和真实的box之间的IOU大于IOU threshold可以判定为预测正确, 反之预测错误.

  2. Precision针对的是某一类样本，如果没有说明类别，那么Precision是毫无意义的（有些地方不说明类别，直接说Precision，是因为二分类问题通常说的Precision都是正样本的Precision）。
    P r e c i s i o n = T P T P + F P Precision = \frac{TP}{TP+FP} Precision=TP+FPTP​

  3. Recall和Precision一样，脱离类别是没有意义的。说道Recall，一定指的是某个类别的Recall。Recall表示某一类样本，预测正确的与所有Ground Truth的比例。
    R e c a l l = T P T P + F N Recall = \frac{TP}{TP+FN} Recall=TP+FNTP​

  4. 准确率=预测正确的样本数/所有样本数，即预测正确的样本比例（包括预测正确的正样本和预测正确的负样本，不过在目标检测领域，没有预测正确的负样本这一说法，所以目标检测里面没有用Accuracy的）。
    A c c u r a n c y = T P + T N T P + F P + F N + T N Accurancy = \frac{TP+TN}{TP+FP+FN+TN} Accurancy=TP+FP+FN+TNTP+TN​

PR曲线

Precision-recall曲线（PR曲线）, PR曲线的横轴Recall也就是TPR，反映了分类器对正例的覆盖能力。而纵轴Precision的分母是识别为正例的数目，而不是实际正例数目。Precision反映了分类器预测正例的准确程度。那么，Precision-recall曲线反映了分类器对正例的识别准确程度和对正例的覆盖能力之间的权衡。对于随机分类器而言，其Precision固定的等于样本中正例的比例，不随recall的变化而变化。
多分类中每个类别可以绘制出一条PR曲线, 曲线中为依次改变置信度为10%-100%得到一组由precision和recall组成的坐标, 连接这些值就是PR曲线.

ROC曲线

ROC曲线，是以FPR为横轴、TPR为纵轴，衡量二分类系统性能的曲线。
T P R = T P T P + F N TPR = \frac{TP}{TP + FN} TPR=TP+FNTP​
F P R = F P F P + T N FPR = \frac{FP}{FP+TN} FPR=FP+TNFP​
  同样依次取置信度10%-100%, 会得到一组不同的FPR、TPR组成的坐标连接两者就能得到ROC曲线, ROC曲线与X轴围成的图形面积可以作为一个综合衡量指标，即AUC（Area Under Curve，曲线下面积）。AUC越大，曲线就越凸，分类器的效果也就越好。
  ROC曲线反映了分类器对正例的覆盖能力和对负例的覆盖能力之间的权衡。

F-score

F1分数，它被定义为查准率和召回率的调和平均数, 具体的计算方式为:

F 1 = 2 ∗ P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l F_1=2*\frac{Precision*Recall}{Precision+Recall} F1​=2∗Precision+RecallPrecision∗Recall​

当业务需求, 需要给予准确率和召回率不同的权重的时候可以使用 F β F_\beta Fβ​

F β = ( 1 + β 2 ) ∗ P r e c i s i o n ∗ R e c a l l β 2 P r e c i s i o n + R e c a l l F_\beta=(1+\beta^2)*\frac{Precision*Recall}{\beta^2Precision+Recall} Fβ​=(1+β2)∗β2Precision+RecallPrecision∗Recall​

q其中 F 2 F_2 F2​和 F 0 . 5 F_0.5 F0​.5在统计学中经常使用, 并且 F 2 F_2 F2​分数中, 召回率权重大于查准率, 而 F 0 . 5 F_0.5 F0​.5分数则刚好相反.

多分类中F-score是先计算每个类别的F-score然后在求平均

AP、mAP

与AUC相似，AP就是PR曲线与X轴围成的图形面积.
对于连续的PR曲线，有：语句为 A P = ∫ 0 1 P R d r AP= \int_{0}^{1}PR\text{d}r AP=∫01​PRdr
对于离散的PR曲线，有：
A P = ∑ k = 1 n P ( k ) Δ r ( k ) AP= \sum_{k=1}^nP(k)\Delta r(k) AP=∑k=1n​P(k)Δr(k)
在多个分类中, 可以通过求平均得到mAP
m A P = ∑ q = 1 Q A P ( q ) Q mAP = \frac{\sum_{q=1}^QAP(q)}{Q} mAP=Q∑q=1Q​AP(q)​

验证指标的选择

  一般在查全率和查准率上有偏向的时候, 会选用F-SCORE, 例如推荐系统中，如果希望更精准的了解客户需求，避免推送用户不感兴趣的内容，precision 就更加重要；在疾病检测的时候，我们不希望查漏任何一项疾病，这时 recall（TPR） 就更重要。当两者都需要考虑时，F-score 就是一种参考指标。
  当面临数据 class imbalance 问题，即正负样本比例失衡，而且测试数据中的正负样本的分布也可能随着时间变化。根据计算公式可以推知，在测试数据出现imbalance 时 ROC 曲线能基本保持不变，而 PRC 则会出现大变化, 此时选用AUC指标作为评价指标会更理想.

例如yolov3中出现下来的指标

除了AP以外还有其他的评价指标. 其中:
A P 50 AP_{50} AP50​: IOU阈值为0.5时AP测量值
A P 75 AP_{75} AP75​: IOU阈值为0.75时AP测量值
A P s AP_{s} APs​: 像素面积小于 3 2 2 32^2 322的目标框的AP测量值
A P M AP_{M} APM​: 像素面积在 3 2 2 − 9 6 2 32^2-96^2 322−962之间目标框的AP测量值
A P L AP_{L} APL​: 像素面积大于 9 6 2 96^2 962的目标框的AP测量值

qq_33511693
关注
专栏目录
目标检测模型的评价标准-AP与mAP
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
09-08 1576
为了了解模型的泛化能力，即判断模型的好坏，我们需要用某个指标来衡量，有了评价指标，就可以对比不同模型的优劣，并通过这个指标来进一步调参优化模型。对于分类和回归两类监督模型，分别有各自的评判标准，目标检测模型评价指标主要包含 f1、ap、map、roc计算公式及代码实现与auc曲线绘制等。
机器学习笔记 - IOU、mAP、ROC、AUC、准确率、召回率、F分数
学以致用 知行合一
03-25 5140
mAP（mean Average Precision）是目标检测中度量识别精度的指标。多个类别目标检测中，每一个类别都可以根据查全率和查准率绘制P-R曲线，横坐标为查全率，纵坐标为查准率。AP就是该曲线下的面积，mAP是多个类别AP的平均值。计算公式如下式中，Q表示目标检测的类别集合；AveP（q）是计算类别下目标的平均准确率。计算mAP时使用联合交集（IoU）。mAP计算过程1、对于每个预测，IoU 是针对图像中的每个地面实况框计算的。
机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率
leadai的博客
11-20 2768
北京 | 高性能计算之GPU CUDA课程11月24-26日3天密集学习 快速带你晋级阅读全文> 在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)（https://en.wikipedia.org/
F-score和ROC曲线评价方法
m0_60790618的博客
04-01 3905
1、F-score 1.1、 真阳性TP（True Positive）：将正类预测为正类 假阴性FN（False Negative）：将正类预测为负类 假阳性FP（False Positive）：将负类预测位正类 真阴性TN（True Negative）：将负类预测位负类 1.2、 精准率（Precision）= TP/（TP+FP）所有预测的正类中有多少真实标签为正样本 召回率（Recall） = TP/（TP+FN）所有真实标签为正的样本有多少被预测为正 检测阳性 检测阴
F1-score（标准度量）
最新发布
2201_76139143的博客
07-17 658
F1分数（F1-score）是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛，常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数，最大为1，最小为0，如公式1所示。公式1。
分类模型的评估方法-F分数(F-Score)
热门推荐
saltriver的专栏
06-30 9万+
前面介绍了机器学习中分类模型的精确率(Precision)和召回率(Recall)评估指标。对于Precision和Recall，虽然从计算公式来看，并没有什么必然的相关性关系，但是，在大规模数据集合中，这2个指标往往是相互制约的。理想情况下做到两个指标都高当然最好，但一般情况下，Precision高，Recall就低，Recall高，Precision就低。所以在实际中常常需要根据具体情况做出取舍
详解目标检测的评价指标
Vermont_的博客
11-16 1万+
在人工智能领域，机器学习的效果需要用各种指标来评价。当一个目标检测模型建立好了之后，即模型训练已经完成，我们就可以利用这个模型进行分类识别。那么该如何去评价这个模型的性能呢？ 今天我们从交并比，准确率，精度，召回率，FPR, F1-Score, PR曲线，ROC曲线，AP的值，AUC的值以及很重要的mAP指标，模型的检测速度和非极大值抑制的相关方面来学习下目标检测中的评价指标。 1. 交并比 — IoU 交并比IoU是英文intersection over union的简写，意思是检测结果的矩形..
评价指标（一）
yc星光
02-09 2294
在倾向于 Precision的分类任务场景下，常使用 F0.5 - score，或α1\alpha<1α1的其它值；在倾向于 Recall的分类任务场景下，常使用 F2 - score，或α1\alpha>1α1的其它值；在Precision 与 Recall 同等重要的分类任务场景下，常使用 F1 - score。
目标检测评价指标（含 mAP、F-measure、FPS）
dexterod的博客
04-30 2万+
写在前面的话 无论是目标检索、分类、还是检测，都有其自身的一套评价指标体系。可能其中很多概念很类似，比如精确度、召回率。但其实内涵还是有些不一样的。身为一个已经搞了一年图像目标检测的后进者，直到现在才发现，之前我以为轻松搞懂的评价标准，其实是错误的。今天特就自己翻阅的资料做一个汇总，不敢保证对，但至少修正了一部分自以为是的思想。 在网上之前看到的很多打着目标检测评价指标的博文，其实只是对分类做的评...
【模型评估】Python混淆矩阵、FP、FN、TP、TN、ROC、FROC、mAP、Precision、Recall、Accuracy、F1 score详述与实现
钱多多先森
08-14 4万+
深度学习中，模型评估常用的指标、实现算法汇总。后续还会有几个章节，对其中的各个小点进行详述
map评价吗 voc数据集可以用coco_目标检测评价指标(mAP)
weixin_33601402的博客
02-17 1561
常见指标precision 预测出的所有目标中正确的比例 (true positives / true positives + false positives).recall 被正确定位识别的目标占总的目标数量的比例 (true positives/(true positives + false negatives)).一般情况下模型不够理想，准确率高、召回率低，或者召回率低、准确率高。如果做疾病...
分类算法评价指标 准确率、精确率、召回率、F-score、ROC、PR曲线
itslifeng的博客
08-29 2567
分类是将数据根据一定的规律进行分类，进入模型能够对未来数据进行预测。 应用场景包括： 判断邮件是否是垃圾邮件 判断是否发放贷款 判断是否为不良用户 常见的分类算法包括： 朴素贝叶斯 支持向量机 逻辑回归 决策树 KNN临近算法 目录评价指标值指标准确率 Accuracy精确率 Precision召回率 RecallF-Score图指标Precision-Recall PR曲线ROC曲线 评价指标 值指标 准确率 Accuracy 正确分类的样本数与总样本数之比（预测对的总样本 / 总总样本数）
深度学习中准确率、精确率、召回率、误报率、漏报率、F1-Score、AP&mAP、ROC曲线、AUC、MAE、MAPE、MSE、RMSE、R-Squared等指标的解释说明
yueguang8的博客
03-20 4745
在深度学习学习中，有许多常用的评估指标用于衡量模型的性能。下面是一些常见的指标及其定义和说明。关键名字解释：TP表示真正例（True Positive），即模型正确预测为正例的样本数量；TN表示真负例（True Negative），即模型正确预测为负例的样本数量；FP表示假正例（False Positive），即模型错误地将负例预测为正例的样本数量；FN表示假负例（False Negative），即模型错误地将正例预测为负例的样本数量。
机器学习中分类问题的四大评价指标和ROC曲线
dylan_young的博客
12-01 1897
文章目录前言一、accuracy二、precision三、recall四、f1-score总结 前言 我们知道机器学习分为回归问题和分类问题；同时，评价指标在模型训练和评价中占据着举足轻重的地位；本文主要介绍分类问题常见的四个评价指标，accuracy，precision， recall 和f1-score。在明确以上四个评价指标的定义和用途之前，我们需要知道四个概念；在二分类问题中，TP 是测试集上的样本为positive（正），我们的模型代入该测试集样本预测仍为正；TN 是测试集上的样本为negat.
分类和目标检测的性能评价指标【转载】
Jensen Lee的博客
05-13 1354
文章目录1.mAP (mean Avearage Precision)2. FLOPs （浮点运算数）3. 模型参数大小 对于深度学习的网络模型，希望其速度快，内存小，精度高。因此需要量化指标来评价这些性能，常用的指标有：mAP（平均准确度均值，精度指标）， FPS（每秒处理的图片数量或每张图片处理需要时间，同样硬件条件下的速度指标） ， 模型参数大小（内存大小指标）。 1.mAP (mean Avearage Precision) mAP指的是各类别的AP平均值，而AP指PR曲线的面积（precision
目标检测中的评价指标: Precision、Recall、F-measure、mAP、ROC、AUC、BPR等
NeverFadeAway的博客
08-22 2110
参考博文：https://blog.csdn.net/yuxiaosmd/article/details/83046162 一、混淆矩阵 混淆矩阵(Confusion matrix)： Actual class Positive Negative Pred...
【目标检测】目标检测的评价指标（七个）
wzk4869的博客
11-16 2万+
【目标检测】目标检测的评价指标（七个）
目标检测模型的几个指标
qq_52832321的博客
03-08 3638
F1得分是一个综合了精确率（precision）和召回率（recall）的指标，其计算公式是2 * (精确率 * 召回率) / (精确率 + 召回率)，值范围在0~1之间，取值越大则模型性能越好。精确率（Precision）: Precision 是正确预测为正的样本（TP）占预测为正的总样本（TP+FP）的比例。召回率（Recall）: Recall 是正确预测为正的样本（TP）占实际为正的总样本（TP+FN）的比例。也就是，这些样本是正类，模型预测为正类。也就是，这些样本是负类，模型预测为负类。
机器学习算法常用指标总结
weixin_43509263的博客
03-26 1079
一、指标分类 1- Accuracy（准确率） 2- Precision（精确率） 3- Recall（召回率） 4- F1-Score 5- Fn-Score 定义：对于一个二分类问题，我们可以将实际值与预测值做一个组合，得到以下这四种结果： TP：那些实际上为正向的标签，你预测它为正向；（预测正确） TN：那些实际上为负向的标签，你预测它为负向；（预测正确） FP：那些实际上为正向的标签，你...
对pandas读取的数据进行逻辑回归评价预测，包括精确率与召回率、F1-score、ROC曲线与AUC指标代码
06-09
好的，针对您的问题，以下是一份逻辑回归预测模型的代码示例： ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, roc_curve import matplotlib.pyplot as plt # 1. 数据读取与处理 data = pd.read_csv('data.csv') X = data.drop('target', axis=1) y = data['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 2. 模型训练 model = LogisticRegression() model.fit(X_train, y_train) # 3. 模型预测 y_pred = model.predict(X_test) y_prob = model.predict_proba(X_test)[:, 1] # 4. 模型评价 accuracy = accuracy_score(y_test, y_pred) precision = precision_score(y_test, y_pred) recall = recall_score(y_test, y_pred) f1 = f1_score(y_test, y_pred) auc = roc_auc_score(y_test, y_prob) # 5. ROC曲线绘制 fpr, tpr, thresholds = roc_curve(y_test, y_prob) plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % auc) plt.plot([0, 1], [0, 1], 'k--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('ROC Curve') plt.legend(loc="lower right") plt.show() # 6. 输出结果 print('Accuracy:', accuracy) print('Precision:', precision) print('Recall:', recall) print('F1-score:', f1) print('AUC:', auc) ``` 这份代码使用了Pandas库读取了名为"data.csv"的数据集，并将其分成训练集和测试集，使用Scikit-learn库中的LogisticRegression类进行模型训练和预测，最后通过Scikit-learn库中的指标函数计算了预测结果的准确率、精确率、召回率、F1-score和AUC指标，同时绘制了ROC曲线。 需要注意的是，上述代码仅作为示例，具体实现需要根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值