YOLO学习】召回率（Recall），精确率（Precision），平均正确率（Average_precision(AP) ），交除并（Intersection-over-Union（IoU））

最新推荐文章于 2024-08-06 15:51:59 发布
最新推荐文章于 2024-08-06 15:51:59 发布
阅读量4.7k 收藏 16
点赞数 2
分类专栏： 机器学习 深度学习

转自 https://blog.csdn.net/hysteric314/article/details/54093734

摘要

在训练YOLO v2的过程中，系统会显示出一些评价训练效果的值，如Recall，IoU等等。为了怕以后忘了，现在把自己对这几种度量方式的理解记录一下。 
这一文章首先假设一个测试集，然后围绕这一测试集来介绍这几种度量方式的计算方法。

大雁与飞机

假设现在有这样一个测试集，测试集中的图片只由大雁和飞机两种图片组成，如下图所示： 
这里写图片描述

假设你的分类系统最终的目的是：能取出测试集中所有飞机的图片，而不是大雁的图片。

现在做如下的定义： 
True positives : 飞机的图片被正确的识别成了飞机。 
True negatives: 大雁的图片没有被识别出来，系统正确地认为它们是大雁。 
False positives: 大雁的图片被错误地识别成了飞机。 
False negatives: 飞机的图片没有被识别出来，系统错误地认为它们是大雁。

假设你的分类系统使用了上述假设识别出了四个结果，如下图所示： 
这里写图片描述

那么在识别出的这四张照片中： 
True positives : 有三个，画绿色框的飞机。 
False positives: 有一个，画红色框的大雁。

没被识别出来的六张图片中： 
True negatives : 有四个，这四个大雁的图片，系统正确地没有把它们识别成飞机。 
False negatives: 有两个，两个飞机没有被识别出来，系统错误地认为它们是大雁。

Precision 与 Recall

Precision其实就是在识别出来的图片中，True positives所占的比率： 
这里写图片描述 
其中的n代表的是(True positives + False positives)，也就是系统一共识别出来多少照片 。 
在这一例子中，True positives为3，False positives为1，所以Precision值是 3/（3+1）=0.75。 
意味着在识别出的结果中，飞机的图片占75%。

Recall 是被正确识别出来的飞机个数与测试集中所有飞机的个数的比值： 
这里写图片描述 
Recall的分母是(True positives + False negatives)，这两个值的和，可以理解为一共有多少张飞机的照片。 
在这一例子中，True positives为3，False negatives为2，那么Recall值是 3/（3+2）=0.6。 
意味着在所有的飞机图片中，60%的飞机被正确的识别成飞机.。

调整阈值

你也可以通过调整阈值，来选择让系统识别出多少图片，进而改变Precision 或 Recall 的值。 
在某种阈值的前提下（蓝色虚线），系统识别出了四张图片，如下图中所示： 
这里写图片描述 
分类系统认为大于阈值（蓝色虚线之上）的四个图片更像飞机。

我们可以通过改变阈值（也可以看作上下移动蓝色的虚线），来选择让系统识别能出多少个图片，当然阈值的变化会导致Precision与Recall值发生变化。比如，把蓝色虚线放到第一张图片下面，也就是说让系统只识别出最上面的那张飞机图片，那么Precision的值就是100%，而Recall的值则是20%。如果把蓝色虚线放到第二张图片下面，也就是说让系统只识别出最上面的前两张图片，那么Precision的值还是100%，而Recall的值则增长到是40%。

下图为不同阈值条件下，Precision与Recall的变化情况： 
这里写图片描述

Precision-recall 曲线

如果你想评估一个分类器的性能，一个比较好的方法就是：观察当阈值变化时，Precision与Recall值的变化情况。如果一个分类器的性能比较好，那么它应该有如下的表现：被识别出的图片中飞机所占的比重比较大，并且在识别出大雁之前，尽可能多地正确识别出飞机，也就是让Recall值增长的同时保持Precision的值在一个很高的水平。而性能比较差的分类器可能会损失很多Precision值才能换来Recall值的提高。通常情况下，文章中都会使用Precision-recall曲线，来显示出分类器在Precision与Recall之间的权衡。 
这里写图片描述 
上图就是分类器的Precision-recall 曲线，在不损失精度的条件下它能达到40%Recall。而当Recall达到100%时，Precision 降低到50%。

Approximated Average precision

相比较与曲线图，在某些时候还是一个具体的数值能更直观地表现出分类器的性能。通常情况下都是用 Average Precision来作为这一度量标准，它的公式为： 
这里写图片描述 
在这一积分中，其中p代表Precision ，r代表Recall，p是一个以r为参数的函数，That is equal to taking the area under the curve.

实际上这一积分极其接近于这一数值：对每一种阈值分别求（Precision值）乘以（Recall值的变化情况），再把所有阈值下求得的乘积值进行累加。公式如下： 
这里写图片描述 
在这一公式中，N代表测试集中所有图片的个数，P(k)表示在能识别出k个图片的时候Precision的值，而 Delta r(k) 则表示识别图片个数从k-1变化到k时（通过调整阈值）Recall值的变化情况。

在这一例子中，Approximated Average Precision的值 
=(1 * （0.2-0）) + (1 * (0.4-0.2)) + (0.66 * (0.4-0.4)) + (0.75 * (0.6-0.4)) + (0.6 * (0.6-0.6)) + (0.66 * (0.8-0.6)) + (0.57 * (0.8-0.8)) + (0.5 * (0.8-0.8)) + (0.44 * (0.8-0.8)) + (0.5 * (1-0.8)) = 0.782.

=(1 * 0.2) + (1 * 0.2) + (0.66 * 0) + (0.75 * 0.2) + (0.6 * 0) + (0.66 * 0.2) + (0.57 * 0) + (0.5 * 0) + (0.44 * 0) + (0.5 * 0.2) = 0.782.

通过计算可以看到，那些Recall值没有变化的地方（红色数值），对增加Average Precision值没有贡献。

Interpolated average precision

不同于Approximated Average Precision，一些作者选择另一种度量性能的标准：Interpolated Average Precision。这一新的算法不再使用P(k)，也就是说，不再使用当系统识别出k个图片的时候Precision的值与Recall变化值相乘。而是使用： 
这里写图片描述 
也就是每次使用在所有阈值的Precision中，最大值的那个Precision值与Recall的变化值相乘。公式如下： 
这里写图片描述

下图的图片是Approximated Average Precision 与 Interpolated Average Precision相比较。 
需要注意的是，为了让特征更明显，图片中使用的参数与上面所说的例子无关。 
这里写图片描述 
很明显 Approximated Average Precision与精度曲线挨的很近，而使用Interpolated Average Precision算出的Average Precision值明显要比Approximated Average Precision的方法算出的要高。

一些很重要的文章都是用Interpolated Average Precision 作为度量方法，并且直接称算出的值为Average Precision 。PASCAL Visual Objects Challenge从2007年开始就是用这一度量制度，他们认为这一方法能有效地减少Precision-recall 曲线中的抖动。所以在比较文章中Average Precision 值的时候，最好先弄清楚它们使用的是那种度量方式。

IoU

IoU这一值，可以理解为系统预测出来的框与原来图片中标记的框的重合程度。 
计算方法即检测结果Detection Result与 Ground Truth 的交集比上它们的并集，即为检测的准确率： 

IoU=DetectionResult⋂GroundTruthDetectionResult⋃GroundTruthIoU=DetectionResult⋂GroundTruthDetectionResult⋃GroundTruth

如下图所示： 
蓝色的框是：GroundTruth 
黄色的框是：DetectionResult 
绿色的框是：DetectionResult ⋂ GroundTruth 
红色的框是：DetectionResult ⋃ GroundTruth

这里写图片描述

要说的

1，本文参考了以下博客 
https://sanchom.wordpress.com/tag/average-precision/ 
http://blog.csdn.net/eddy_zheng/article/details/52126641 
2，在训练YOLO v2中，会出现这几个参数，所以在这总结一下，省得以后忘了。 
3，本文只是一个学习笔记，内容可能会有错误，仅供参考。 
4，如果你发现文中的错误，欢迎留言指正，谢谢！ 
5，之后会继续把训练YOLO过程中出现的问题写在博客上。


yanhx1204
关注
专栏目录
万字长文精解目标检测中的TP、FP、FN、TN、Precision、Recall 、 F1 Score、AP、mAP与AR 。附代码实现。
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-16 5628
mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。
新手小白快速看懂yolov8模型训练结果图表，通过mAP、Precision、Recall等评价性能
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-22 3190
新手小白快速看懂yolov8模型训练结果图表，通过mAP、Precision、Recall等评价性能： confusion_matrix.png、confusion_matrix_normalized.png、F1_curve.png、labels.jpg labels_correlogram.jpg、P_curve.png、PR_curve.png、R_curve.png、results.png
AP: average precision
easylifer的专栏
03-12 2万+
average precision的计算以及原理
【YOLO学习】召回率（Recall），精确率（Precision），平均正确率（Average_precision(AP) ），交除并（Intersection-over-Union（IoU））
热门推荐
Joe_quan的博客
01-05 10万+
在训练YOLO v2的过程中，系统会显示出一些评价训练效果的指标，包括Recall，IoU等等。为了怕以后忘了，现在把自己的理解记录一下。这一文章首先假设一个测试集，然后围绕这一测试集来介绍这几种指标的计算方式。
yolo中可视化结果指标
最新发布
zhaosuyuan的博客
08-06 368
yolo中可视化结果指标
AP(Average Precision)、mAP(mean Average Precision)
qq_41081593的博客
01-04 1012
相关知识 准确率Precision 召回率Recall 其实这个翻译不是很准确 recall最合理的翻译应该是 查全率 而Precision的最合理的翻译应该是查准率 这样就很容易理解了，假设一个班级有10个学生，5男5女 你用机器找女生，机器返回了一下结果： | 男 | 女 | 女 | 男 | 女 | 男 | 那么查准率为：3/6 = 0.5（返回的6个结果只有3个正确） 查全率为: 3/5 = 0.6 （所有女生有5个，但只找到3个） 然后就是mAP的解释了，一张图可以说明： 图片名称 在多个类别的检
平均精度(AP)
小小的博客
09-16 2191
mAP（mean average precision）是一个平均值，常用作目标检测中的检测精度指标mAP 指标通过对于一个平均目标来检测任务中多个目标所对应不同 AP（average precision）值进行计算得到。AP 的值就是通过预测分析得出的实验结果中精确率（precision）和召回率（recall）来精确绘制一个 P-R 曲线的面积。其中6个目标预测正确（TP），2个目标预测错误（FP），4个目标没有预测到（FN）。TP（True Positives）：正样本预测为正样本的数量。
平均精度（Average Precision，AP）以及AP50、AP75、APs、APm、APl、Box AP、Mask AP等不同阈值和细分类别的评估指标说明
fydw_715的博客
07-25 3820
平均精度（Average Precision，AP）以及不同阈值和细分类别的评估指标AP50、AP75、APs、APm、APl说明
【机器学习】查全率（Recall）/查准率（Precision）/F-Measure/AP（Average Precision）/MAP
shangpapa3的博客
07-27 7861
查全率（Recall）/查准率（Precision）/综合评价指标（F-Measure）/AP（Average Precision）/MAP（Mean Average Precision）
YOLOv8性能评估指标-＞mAP、Precision、Recall、FPS、IoU
Snu77的博客
11-02 6万+
这篇博客，主要给大家讲解我们在训练yolov8时生成的结果文件中各个图片及其中指标的含义，帮助大家更深入的理解，以及我们在评估模型时和发表论文时主要关注的参数有那些。本文通过举例训练过程中的某一时间的结果来帮助大家理解，大家阅读过程中如有任何问题可以在评论区提问出来，我会帮助大家解答。首先我们来看一个在一次训练完成之后都能生可以评估YOLOv8模型在目标检测任务中的准确性、召回率、速度和边界框质量等性能表现。根据具体需求，我们可以选择更适合任务场景的模型和参数配置。最后祝大家学习顺利，科研成功，多多论文！！
YOLOv5改进策略|YOLO模型优化|YOLOv5深度学习钢管焊缝缺陷检测、焊缝缺陷检测、焊缝缺陷识别、焊接缺陷检测.准确率达到97.8%
sybh的博客
06-16 1197
钢管广泛应用于石油、 化工、天然气、⻚岩气等，如果钢管存在缺陷，会导致 造成严重的不良后果。随着我国钢管需求量的不断增⻓，更多 越来越多的企业甚至国家开始关注质量和 钢管性能及钢材缺陷检测评价技术 管道已成为研究人员热衷的研究课题。目前，有 手动测试和X射线测试。X射线检测是工业检测的主要方法之一 无损检测(NDT)，检测结果已作为重要依据 用于焊缝的缺陷分析和质量评估。X射线检测可以有效 检测钢管内部缺陷，但仍需人工参与确定钢管焊缝缺陷的类型和位置(Yun et al. 2009)。
mean_average_precision:物体检测的平均平均精度
04-13
mAP：目标检测的平均平均精度 一个简单的库，用于评估对象检测器。 实际上，鉴于您的实际情况和班级设置，较高的mAP值表示检测器的性能更好。 安装套件 pip install mean_average_precision 安装最新版本 pip install --upgrade git+https://github.com/bes-dev/mean_average_precision.git 例子 import numpy as np from mean_average_precision import MetricBuilder # [xmin, ymin, xmax, ymax, class_id, difficult, crowd] gt = np . array ([ [ 439 , 157 , 556 , 241 , 0 , 0 , 0 ], [ 437 , 2
准确率，召回率，mAP(mean average precision)解释
木盏
06-27 2万+
准确率Precision 召回率Recall 其实这个翻译相当蛋疼。。。 recall最合理的翻译应该是 查全率 而Precision的最合理的翻译应该是查准率 这样就很容易理解了，假设一个班级有10个学生，5男5女 你用机器找女生，机器返回了一下结果： | 男 | 女 | 女 | 男 | 女 | 男 | 那么查准率为：3/6 = 0.5（返回的6个结果只有3个正确） 查全率为:...
average_precision_score()函数----计算过程与原理详解
西小庄村高伟 的博客
02-21 8603
average-precision算法过程与原理详解
Mean Average Precision
ck131102的专栏
12-01 1317
关于mAP的计算方法： 首先，P(r) = 检索到的相关项目/检索的总数， 然后，AveP关注每个相关项目在检索队列中的位置，， N就是相关项目(文档)的数量。 最后，mAP即使针对不同主题的AveP取平均。 例如：假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。某系统对于主题1检索出4个相关网页，其rank分别为1, 2, 4, 7；对于主题2检索出3个相关网
Recall, Precision, and Average Precision
三少GG
11-27 1万+
信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC 分类： 1.自然语言处理/机器学习 在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。 准确率、召回率、F1 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precisio
YOLOv8的多分类模型如何计算准确率(Accuracy)、精确率(Precision)、召回率(recall)和F1-Score模型评估参数
阿旭的博客
04-07 6591
YOLOv8的多分类模型如何计算准确率(Accuracy)、精确率(Precision)、召回率(recall)和F1-Score模型评估参数
mean Average Precision (mAP)
william_hehe的博客
04-19 1万+
mAP(mean average precision)目标检测中衡量识别精度的指标。多个类别目标检测中，每个类别都可以根据recall（召回率）和percision（准确率）绘制一条曲线。AP就是该曲线下的面积，mAP意思是对每一类的AP再求平均。召回率（recall）、准确率（precision）举例：mAP计算方法：首先用训练好的模型得到所有测试样本的confidence score，每一类（...
目标检测等相关评价指标（AP AR Average Precision和Average Recall）
中科院AI算法工程师的博客
08-28 1万+
https://cocodataset.org/#detection-eval COCO 提供了 12 种用于衡量目标检测器性能的评价指标. [1] - 除非特别说明，AP和AR一般是在多个 IoU(Intersection over Union) 值间取平均值. 具体地，采用了 10 个 IoU阈值 -0.50:0.05:0.95. 对比于传统的只计算单个 IoU 阈值(0.50)的指标(对应于这里的指标APIoU=0.50)，这是一种突破. 对多个 IoU 阈值求平均，能够使得目标检测...
yolov5召回率抖动
07-27
回答: YOLOv5的召回率抖动可能是由于多种因素引起的。首先，召回率抖动可能与训练数据集的质量和数量有关。如果训练数据集中的标注不准确或者样本数量不足，可能会导致模型在训练过程中无法充分学习到目标物体的特征，从而影响召回率的稳定性。其次，模型的网络结构和超参数的选择也可能对召回率抖动产生影响。不同的网络结构和超参数设置可能会导致模型在不同的训练阶段对目标物体的检测能力有所波动，从而导致召回率的抖动。此外，训练过程中的优化算法和学习率的选择也可能对召回率抖动产生影响。不同的优化算法和学习率调度策略可能会导致模型在训练过程中的收敛速度和稳定性不同，从而影响召回率的表现。综上所述，要解决YOLOv5的召回率抖动问题，可以尝试以下几个方法：1. 确保训练数据集的质量和数量充足，并进行准确的标注。2. 调整网络结构和超参数的选择，找到最适合的配置。3. 尝试不同的优化算法和学习率调度策略，找到最合适的训练策略。4. 进行数据增强操作，增加训练样本的多样性。5. 调整训练过程中的其他参数，如批量大小等。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [【YOLO学习】召回率（Recall），精确率（Precision），平均正确率（Average_precision(AP) ），交除并...](https://blog.csdn.net/hysteric314/article/details/54093734)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [利用yolov5训练自己的数据集； yolov5的安装与使用 ； yolov5源码解读](https://blog.csdn.net/qq_41580422/article/details/122252897)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值