【yolov7论文概要】

已于 2023-11-29 16:22:58 修改
阅读量255 收藏
点赞数
分类专栏： 深度学习基础 文章标签： YOLO 目标跟踪 人工智能
于 2023-09-04 19:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56066265/article/details/125716305
版权

yolov7主要贡献

1、引言 Introduction

  • 模型重新参数化model re-parameterization和动态标签分配dynamic label assignment在网络训练和目标检测中很重要，提出发现的新问题和设计了有效的处理方法。对于模型重新参数化，运用梯度传播路径概念应用在不同网络的层分析了重新参数化策略。并且提出了有计划的重新参数化模型。使用动态标签分配技术时多重输出层模型的训练将产生新的问题，问题是对于不同分支的输出如何分配动态标签。对于这个问题，提出了新的标签分配方法叫做coarse-to-fine lead guided标签分配。

  • 设计了可训练bag-of-freebies方法，在不增加推理成本的情况下极大的提升了检测精度。

  • 为了提升目标检测方法，发现另种新问题。第一，重新参数化的模块如何取代原始模块，第二，动态标签分配策略如何处理对不同输出层的分配。

  • 针对两个问题，提出解决办法。对实时目标检测提出扩展和复合缩放方法 ，该方法能有效的利用参数和计算。该方法能有效的减少40%的参数和50%的计算。拥有快速的推理速度和较高的检测准确率。

2、 相关工作

2.1 实时目标检测器 Real-time object detectors
  • 成为最先进的实时物体探测器state-of-the-art real-time object detector需要下列参数：1.更快速和更强大的网络架构，2.更有效的特征集成方法。3.更准确的检测方法，4.更稳定的损失函数。5.有效的标签分配方法。6.有效的训练方式。
2.2 重新参数化模型 Model re-parameterization
  • 模型在参数化技术在推理阶段将多个计算模块合并为一个模块。这技术被认为是一种集成技术。也能分成模块级集成和模型级集成两种方式。
  • 模型参数化方法在训练过程中将一个模块分割为多个相同或不同的模块分支，并在推理过程中将多个分支模块集成到一个完全等价的模块中。并不是所有的模型能有效的应用在不同的架构中，对于这点，开发了新的重新参数化模块，为各种架构设计了相关的应用程序策略。
2.3 模型缩放 Model scaling
  • 模型缩放方法通常使用不同的缩放因子，如分辨率（输入图像大小）、深度（层数）、宽度（通道数）和阶段（特征金字塔数量），从而在网络参数的数量、计算、推理速度和精度方面实现很好的权衡。
  • 网络架构搜索(NAS)是目前常用的模型缩放方法之一，NAS可以自动搜索合适的缩放因子，缺点是搜索模型比例因子需要消耗大量的计算量。
  • 独立优化缩放因子是因为NAS体系结构处理比例因子相关性不是很大。

3 架构 Architecture

3.1 扩展高效的层聚合网络 Extended efficient layer aggregation networks

在这里插入图片描述
CSPVoVNet是VoVNet的变体。梯度路径以使不同层的权重能够学习更多样化的特征。ELAN网络通过控制最短最长梯度路径，更深的网络可以有效地学习和收敛。基于ELAN提出了 Extended-ELAN (E-ELAN)。

  • 所提出的E-ELAN采用扩展、shuffle、合并基数，可以在不破坏原始梯度路径的情况下不断提高网络的学习能力。在体系结构方面，E-ELAN只改变了计算块中的体系结构，而过渡层的体系结构则完全不变。
  • 我们的策略是利用群卷积来扩展计算块的通道和基数。我们将应用相同的组参数和信道倍增器用于计算层的所有计算块。然后，将每个计算块计算出的特征图根据设置的组参数g整分为g组，然后将它们连接在一起。此时，每一组特征图中的通道数将与原始体系结构中的通道数相同。最后，我们添加了g组特征映射来执行合并基数。

3.2 基于连接的模型的模型缩放 Model scaling for concatenation-based models

  • 模型缩放的主要目的是调整模型的一些属性，生成不同尺度的模型，以满足不同推理速度的需求。
  • 以放大深度为例，这样的动作会导致过渡层的输入通道和输出通道之间的比率变化，从而导致模型的硬件使用量的减少。
  • 当扩大或缩小执行深度，基于连接的翻译层的计算块将减少或增加，如图(a)和(b).
  • 当我们缩放一个计算块的深度因子时，我们还必须计算该块的输出通道的变化。然后，我们将对过渡层以相同的变化量进行宽度因子缩放，如图c,我们提出的复合尺度方法可以保持模型在初始设计时的特性，并保持最优结构。在这里插入图片描述

4.Trainable bag-of-freebies

4.1 Planned re-parameterized convolution
  • 使用梯度流传播路径来分析重新参数化的卷积应该如何与不同的网络相结合。
  • RepConv中的一致连接破坏了ResNet中的残差和DenseNet中的连接，对于上述原因，我们使用没有一直连接的RepConv(RepConvN)去设计有计划重新参数卷积(Planned re-parameterized convolution)结构。
  • 当具有残差或连接的卷积层被重新参数化的卷积层所取代时，就不存在一致连接(identity connection).
    在这里插入图片描述
    In the proposed planned re-parameterized model, we found that a layer with residual or concatenation connections, its RepConv should not have identity connection. Under these circumstances, it can be replaced by RepConvN that contains no identity connections.
4.2 Coarse for auxiliary and fine for lead loss

  • 深度监督主要的概念是在网络中间层添加额外的辅助头，浅层网络权值以辅助损失作为指导。在ResNet和DenseNet 中深度监督会提升模型的性能。

  • 我们将负责最终输出的头称为引导头，将用于辅助训练的头称为辅助头。

  • How to assign soft label to auxiliary head and lead head ?

  • 新的标签分配方式，通过lead head预测来引导辅助头和lead head。使用lead head预测作为指导，生成从粗到细coarse-to-fine的层次标签用于辅助头和lead head学习。如下图
    在这里插入图片描述

  • lead head引导标签分配在lead head and the ground truth预测结果中是主要的计算基础。通过优化过程生成软标签。这组软标签将作为辅助头和lead head的目标训练模型。这样做的原因是lead head具有相对较强的学习能力，由此生成的软标签应该更能代表源数据与目标之间的分布和相关性。通过让较浅的辅助头直接学习lead head已经学习到的信息，lead head将更能专注于学习尚未学习到的残余信息。

  • Coarse-to-fine lead head guided label assigner利用lead head预测结果和groud truth来生成软标签。软标签设置为粗标签和细标签 coarse label and fine label。细标签与lead head 引导的标签分配生成的标签相同。通过放松正样本分配过程的约束，允许更多的网格被视为正目标来生成粗标签。原因是一个辅助头的学习能力不是那么强大的lead head，为了避免失去需要学习的信息，我们将专注于优化召回辅助头的目标检测任务。

  • 如果粗标签的附加权重接近于细标签在最终的预测中会产生坏的先验框。因此，为了使这些超粗正网格的影响较小，我们在解码器中进行了限制，从而使这些超粗正网格不能完美地产生软标签。

4.3 Other trainable bag-of-freebies
  • 训练trick：1.在conv-bn-activation拓扑结构中批量标准化。其目的是将推理阶段批量归一化的均值和方差整合到卷积层的偏差和权重中。2. YOLOR中的隐式知识结合卷积特征映射和乘法方式：YOLOR中的隐式知识可以通过推理阶段的预计算简化为向量。这个向量可以与之前或后续卷积层的偏差和权重相结合。3.EMA运用在mean teacher的一种技术。我们使用EMA模型作为最终的推理模型。

5. Experiments

5.1. Experimental setup
  • 使用MicrosoftCOCO 数据集。不使用预训练模型，使用train 2017作为训练集，使用val 2017作为验证和选择超参数。利用test 2017数据集作为目标检测。
  • 对于YOLOv7，我们在颈部做了堆栈缩放，并使用所提出的复合缩放方法对整个模型的深度和宽度进行缩放，并使用此方法得到YOLOv7-X。 YOLOv7-E6E是YOLOv7-E6+ELAN.YOLOv7-tiny使用Leaky ReLU作为激活函数。
5.2 Baselines

结果如下：
在这里插入图片描述

5.3 Comparison with state-of-the-arts 和最好的模型比较

在这里插入图片描述

5.4 消融试验

5.4.1 Proposed compound scaling method

表3显示了在使用不同的模型扩展策略进行放大时获得的结果。其中，我们提出的复合尺度方法是将计算块的深度放大1.5倍，将过渡块的宽度放大1.25倍。
在这里插入图片描述

5.4.2 提出了计划的重新参数化模型

为了验证我们所提出的规划再参数化模型的通用性，我们将其分别应用于基于连接的模型和基于残差的模型上进行验证。我们选择的基于连接的模型和基于残差的模型分别为3堆叠的ELAN和CSPDarknet。

  • 在基于连接的模型实验中，我们用RepConv将3堆叠ELAN中不同位置的3×3卷积层替换，详细配置如图6所示。在这里插入图片描述
    因为原来的dark block没有3×3卷积快，设计反向dark block。
    反向CSPDarknet。我们反转了暗块中1×1和3×3卷积层的位置，以适应我们计划的再参数化模型设计策略。
    在这里插入图片描述
5.4.3 Proposed assistant loss for auxiliary head

在辅助头实验的辅助损失中，我们比较了lead head和辅助头方法的一般独立标签分配，我们也比较了所提出的两种引导标签分配方法。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6 更多模型比较

在这里插入图片描述
在这里插入图片描述

PinoLio
关注
专栏目录
深度学习论文: YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for object detectors及其PyTorch实现
mingo_敏
07-09 1324
深度学习论文: YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors及其PyTorch实现 YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors PDF: https://arxiv.org/pdf/2207.02696.pdf PyTorch代码: ht
【YOLOv8改进】STA(Super Token Attention) 超级令牌注意力机制 (论文笔记+引入代码)
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-22 1099
视觉Transformer在许多视觉任务上展示了卓越的性能。然而，它在浅层捕获局部特征时可能会面临高度冗余的问题。因此，使用了局部自注意力或早期阶段的卷积来减少这种冗余，但这牺牲了捕获长距离依赖的能力。一个挑战随之而来：在神经网络的早期阶段，我们是否能高效且有效地进行全局上下文建模？为解决这一问题，我们从超像素的设计中获得启示，这种设计通过减少图像基元的数量来简化后续处理，并在视觉Transformer中引入了超级令牌。
【YOLO系列】YOLOv7论文超详细解读（翻译 ＋学习笔记）
热门推荐
路人贾的博客
05-03 3万+
《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors》论文超详细翻译＋精读！
目标检测 | yolov7 原理和介绍
最新发布
hhl_work的博客
08-16 1710
YOLOv7是目标检测领域中YOLO系列的最新进展，它在速度和准确性上都取得了显著的提升，被认为是目标检测领域的新里程碑。模型重参数化：YOLOv7首次将模型重参数化技术引入网络架构中，这一技术最早在REPVGG中提出，有助于提升模型表达能力而不增加计算复杂度。标签分配策略：YOLOv7采用了结合YOLOv5和YOLOX优点的标签分配策略，通过跨网格搜索和匹配策略，提高了检测准确性。
YOLOv7——论文简述
gongyuandaye的博客
07-22 2741
可以看到YOLOv7在速度和准确度上较之前的检测器有非常明显的提升。作者提出了一种新的实时目标检测架构，针对解决重参数化模块的替换和动态标签分配问题，提出可训练的bag-of-freebies方法来提高准确度。（1）更好地适配移动端（2）关注训练过程的优化，而不增加推理成本（3）plannedre-parameterizedmodel，用梯度传播路径的概念分析了适用于不同网络中layers的模型重参数化。...
Yolov7论文详解
qq_41048761的博客
05-05 1957
Yolov7在速度和精度上都超过了所有已知的物体探测器，在5 fps到160 fps的范围内，并在所有已知的30 fps或更高的GPU V100实时物体探测器中拥有最高的精度56.8%AP。YOLOV7-E6目标检测器（56 fps V100,55.9%AP）在速度和精度上优于基于变压器的检测器Swinl级联掩码R-CNN(9.2 fps A100,53.9%AP）509%和2%；基于卷积的检测器Convnext-XL级联掩码R-CNN(8.6 fps A100,55.2%AP）551%和0.7%AP；
YOLOv7来临：论文解读附代码解析
chenxiangrong的博客
07-08 2万+
官方版的YOLOv7相同体量下比YOLOv5精度更高，速度快120%（FPS），比 YOLOX 快180%（FPS），比 Dual-Swin-T 快1200%（FPS），比 ConvNext 快550%（FPS），比 SWIN-L快500%（FPS）。 在5FPS到160FPS的范围内，无论是速度或是精度，YOLOv7都超过了目前已知的检测器，并且在GPU V100上进行测试， 精度为56.8% AP的模型可达到30 FPS（batch=1）以上的检测速率，与此同时，这是目前唯一一款在如此高精度下仍能超过3
论文：YOLOv1
cztAI的博客
07-28 595
You Only Look Once: Unified, Real-Time Object Detection 论文：https://arxiv.org/abs/1506.02640 代码：https://pjreddie.com/darknet/yolo/ YOLO 将目标检测的各个部分统一为一个单一的神经网络。我们的网络使用整个图像的特征来预测每个边界框。它还可以同时预测图像中所有类的所有边框。将输入图像划分为 S × S 网格。如果一个目标的中心落在一个网格单元格中，该网格单元格负责检测该物体。每
论文：YOLOv3
cztAI的博客
07-31 484
YOLOv3: An Incremental Improvement 论文：https://arxiv.org/abs/1804.02767 代码：https://pjreddie.com/darknet/yolo/ 边界框预测 在YOLOv2之后，我们的系统使用维度集群(dimension clusters)作为锚框来预测边界框。网络为每个边界框预测4个坐标， tx、ty、tw、tht_x、t_y、t_w、t_htx​、ty​、tw​、th​ 。如果单元格从图像的左上角偏移(cx,cyc_x, c_yc
yolov10的概要介绍与分析
05-27
### YOLOv10概要介绍与深入分析 #### 一、模型特点详解 **1. 性能提升** YOLOv10是YOLO系列的最新成员，旨在为实时目标检测提供更快、更精确且更高效的支持。相较于之前的版本，YOLOv10在保持实时性的同时显著...
万字长文详解YOLOv8 yaml 文件，结合模型输出的网络结构图分析Parameters /backbone/head以及三者的数学关联
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-30 409
万字长文详解YOLOv8 yaml 文件，结合模型输出的网络结构图分析Parameters /backbone/head以及三者的数学关联
yolov7论文及解读
04-23
yolov7由yolov4原版人马打造，试图将yolo算法打造的更快，更好！同时能够支持边缘到云端的移动GPU设备。
YOLOv7论文超详细解读
10-30
YOLOv7论文超详细解读
Yolov7概述、原理及应用.pdf
05-09
Yolov7，作为You Only Look Once（YOLO）系列算法的最新成员，是目标检测领域的一个里程碑式成果。该算法以其卓越的性能和高效的检测速度，赢得了广泛的关注和认可。Yolov7不仅继承了YOLO系列算法的核心思想，即一次性完成目标的定位和识别，还在此基础上进行了大量的优化和改进，使其在准确率、速度和鲁棒性等方面均达到了新的高度。 二、Yolov7原理 Yolov7的原理主要基于深度学习和计算机视觉的相关技术，其核心思想是将目标检测任务转化为一个端到端的回归问题。具体来说，Yolov7采用了以下关键技术： 特征提取：Yolov7首先通过深度学习模型（如卷积神经网络）对输入图像进行特征提取。这一过程中，模型会自动学习到图像中的有用信息，如边缘、纹理、颜色等，并将其编码为一系列的特征图。 特征融合：为了充分利用不同层次的特征信息，Yolov7采用了特征融合技术。通过将不同层次的特征图进行融合，可以得到更加丰富和准确的特征表示，从而提高检测精度。 候选框生成：在得到特征图后，Yolov7会根据预设的先验框（anchor boxes）生成一系列候选框。这些候选框的大小和比
给我写一篇基于yoloV5的口罩检测论文大纲
02-21
基于yoloV5的口罩检测论文大纲一、引言 1.1 口罩检测的重要性 1.2 YOLOv5的概要二、背景研究 2.1 相关工作 2.2 YOLOv5的特点三、方法 3.1 YOLOv5模型的构建 3.2 口罩检测数据集的处理 3.3 YOLOv5的训练四、实验 4.1 ...
YOLOv5改进策略|YOLO模型优化|Slowfast 和 YOLOv5 检测器 自动驾驶、车辆识别、车牌识别、车道识别、行人识别
sybh的博客
06-16 850
全面的，122K从 22 个视频中提取的帧被标记，包括 AV 自身的 动作(附加到整个帧)和附加了三种类型中每一种的一个或多个 标签的边界框:代理、动作、位置。总共，ROAD 包括第560章 K边界框与1。7中号 各个标签的实例。后一个图可以分解为第 560章K代理标签的实例，640K动作标签的实例，以及第499章 K位置标签的实例。根据手动分配的各个标签，我们可以识别 603K双工(代理操作)标签的实例和 第454章K三元组的实例 (事件标签)。
【论文笔记】YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
JehanRio's Private Blog
05-12 2030
最近真的是一刻也不敢停下来，日子一天天的在减少，越来越焦虑了。写的虽然很多，但或者这也导致我很多博文内容质量都不够精，哭哭┭┮﹏┭┮YOLOv7是去年出的，或说这一两年YOLO大家族迭代也太快了，我去年这会儿YOLO才第五代，今年就第八代了。之前的一个项目里面也用到了YOLOv7，YOLOv7很多地方都和v5很像，这一篇我会着重去讲一下v7的创新点。本文提出了一种新的实时检测器，解决了重参化模块的替换问题和动态标签的分配问题。主要贡献：高效聚合网络架构：对ELAN扩展，提出了E-ELAN。
YOLOv7 目标检测论文解释和推理
2301_78240361的博客
12-15 1656
YOLOv7 是一款单级实时目标检测器。它于 22 年 7 月被引入 YOLO 家族。根据 YOLOv7 的论文，它是迄今为止最快、最准确的实时目标检测器。YOLOv 通过提升其性能来建立一个重要的基准。 本文包含简化的 YOLOv7 论文解释和推理测试。我们将浏览 YOLOv7 存储库并测试推理。我们还将看到 YOLOv7 与 YOLO 系列的其他目标检测器的比较。
YOLOv7论文部分解读【含自己的理解】
z240626191s的博客
07-22 6534
yolo终于又更新了！！看了一下yolov7的论文，然后把论文翻译以及自己的一些思考写了进去，这里还包含了我对论文中粗label和细label的详细解释【自己的理解】，其实就是借鉴了蒸馏思想。希望可以帮助到大家，肯定还有很多地方没有思考清楚，后面会不定时对该文进行补充更新。...
模糊时间窗下生鲜农产品配送路径优化研究论文概要
本篇论文标题为"考虑模糊时间窗的生鲜农产品配送路径优化研究",针对的是在实际物流管理中一个重要的问题——如何在不确定性和复杂性下提高生鲜农产品配送的效率和准确性。模糊时间窗是指在配送过程中，由于各种因素...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值