【YOLOv7】《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors》

于 2024-08-01 20:57:12 发布
阅读量448 收藏 4
点赞数 16
分类专栏： CNN / Transformer 文章标签： YOLO 人工智能 深度学习 计算机视觉 yolov7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/131415482
版权

在这里插入图片描述

CVPR-2023

https://github.com/WongKinYiu/yolov7

文章目录

1 Background and Motivation

YOLOv1：2015 年 Joseph Redmon 和 Ali Farhadi 等人（华盛顿大学）

YOLOv2：2016 年 Joseph Redmon 和 Ali Farhadi 等人（华盛顿大学）

YOLOv3：2018 年 Joseph Redmon 和 Ali Farhadi 等人（华盛顿大学）

插曲：YOLOv1-v3 作者 Joseph Redmon 宣布退出 CV 界，不再官方推出 YOLO 新工作

YOLOv4：2020 年 Alexey Bochkovskiy 和 Chien-Yao Wang 等人

YOLOv5：2020 年 Ultralytics 公司

YOLOv6：2022 年美团公司

YOLOv7：2022 年 Alexey Bochkovskiy 和 Chien-Yao Wang 等人

计算机视觉任务中，实时性的目标检测是非常重要的研究主题之一

作者基于 yolov5 和 yoloR，提出 yolov7，速度和精度均有提升

hopes that it can support both mobile GPU and GPU devices from the edge to the cloud

在这里插入图片描述

coarse-to-fine lead guided label assignment

2 Related Work

  • Real-time object detectors
  • Model re-parameterization
    • module-level ensemble
    • model-level ensemble
  • Model scaling
    • resolution, depth, width, and stage

3 Advantages / Contributions

提出了 anchor-based 的 yolov7

吸纳了ELAN设计思想、MP降维组件、Rep结构的思考（“extend” and “compound scaling” methods ）、正负样本匹配策略(simOTA)、辅助训练头

40% parameters and 50% computation of state-of-the-art real-time object detector

4 Method

在这里插入图片描述

基本就是 yolov5 的框架，早期版本代码大部分也一样，基于 yolov5 来 coding 的

4.1 Architecture

（1） Extended efficient layer aggregation networks

在这里插入图片描述

基于 ELAN 提出了 Extended-ELAN (E-ELAN) ，E-ELAN uses expand, shuffle, merge cardinality to achieve the ability to continuously enhance the learning ability of the network without destroying the original gradient path.

ELAN模块是一个高效的网络结构，它通过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性

在这里插入图片描述

在这里插入图片描述

E-ELAN

在这里插入图片描述

在这里插入图片描述

（2）Model scaling for concatenation-based models

之前 scale 模型，很多都只考虑了单方面因素，比如深度、宽度、输入分辨率等，作者发现 E-LAN 这种结构不能简单的只考虑一个因素的 model scale

在这里插入图片描述
上面这个例子，增加深度的时候，width 也会改变

于是作者提出 compound scaling method

在这里插入图片描述

compound scaling method can maintain the properties that the model had at the initial design and maintains the optimal structure.

（3）MP 结构

在这里插入图片描述

pooling 和步长为 2 的 conv 一起来，最后 concat 在一起

（4）re-parameters

在这里插入图片描述

4.2 Trainable bag-of-freebies

（1）Planned re-parameterized convolution

作者发现 repvgg 这种 re-parameter 方法用在 VGG 网络上效果比较好，用在 resnet 或者 densenet 这种结构上会翻车

原因：the identity connection in RepConv destroys the residual in ResNet and the concatenation in DenseNet

作者 use RepConv without identity connection (RepConvN) to design the architecture of planned re-parameterized convolution.

在这里插入图片描述

（2）Coarse for auxiliary and fine for lead loss

在这里插入图片描述

we use lead head prediction as guidance to generate coarse-to-fine hierarchical labels

对aux head分配更多的正样本 coarse，而lead head分配较少的正样本 fine

在这里插入图片描述

主头用了 3 个区域（自己加上周围的两个区域）来回归GT，辅助头偏移最多1，自己加周围4个，共5个区域来回归GT

such learning as a kind of generalized residual learning——有点 resnet 那味

By letting the shallower auxiliary head directly learn the information that lead head has learned, lead head will be more able to focus on learning residual information that has not yet been learned.

fine label and coarse label to be dynamically adjusted during the learning process

（3）Other trainable bag-of-freebies

  • Batch normalization in conv-bn-activation topology，这样方便 conv 和 bn 合并
  • EMA model: we use EMA model purely as the final inference model
  • Implicit knowledge in YOLOR，代码头部结构中，输出特征图 add 和 multi 了一个系数（1，1，channel，1），该系数是 learnable 的

2021年过去，谁是YOLO系列的最强王者？YOLO系列的最高精度YOLOR是怎样炼成的

Wang C Y, Yeh I H, Liao H Y M. You only learn one representation: Unified network for multiple tasks[J]. arXiv preprint arXiv:2105.04206, 2021.

浅层特征定义为显式知识，深层特征定义为隐式知识

本文将直接可观察的知识定义为显式知识，隐藏在神经网络中且无法观察的知识定义为隐式知识

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在深度学习中，流形空间通常指的是数据在高维空间中形成的低维结构或曲面。

在这里插入图片描述

4.3 Label Assignment

正负样本分配用的是 simOTA

YOLOv7正负样本分配详解

结合了 yolov5 和 yolox

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

h 和 w 范围是 0-4，和 anchor 的长宽比遥相呼应

在这里插入图片描述

在这里插入图片描述

初筛只挑选出 GT 自己和左上或者右下共 3 个 grid（GT长宽比符合预设anchor 的长宽比范围内）

复筛，动态调整是predict 和 GT 实时比对（IoU、类别），而不是anchor和GT对比了，存在 grid 符合条件，但是 predict 很糟糕，与 GT 差异较大的回归场景

5 Experiments

did not use pre-trained models

5.1 Datasets and Metrics

（1）Baselines

在这里插入图片描述
（2）Comparison with state-of-the-arts

在这里插入图片描述

the best speed-accuracy trade-off comprehensively

（3）Ablation study

Proposed compound scaling method

在这里插入图片描述

Proposed planned re-parameterized model

在这里插入图片描述

在这里插入图片描述

all higher AP values are present on our proposed planned re-parameterized model.

在这里插入图片描述
在这里插入图片描述

Proposed assistant loss for auxiliary head

在这里插入图片描述

在这里插入图片描述
效果基本上没有什么提升，哈哈哈，这里搞了个寂寞

改动改动

the method of constraining the upper bound of objectness by the distance from the center of the object can achieve better performance.

在这里插入图片描述

提升还是不太明显，继续改进改进

在这里插入图片描述
在这里插入图片描述
这个改动有些效果

More comparison

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

6 Conclusion（own） / Future work

bryant_meng
关注
  • 16
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文阅读】YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
博观约取，厚积薄发
07-16 4547
在 5 FPS 到 160 FPS 的范围内，YOLOv7 在 speed 和accuracy 上都超过了所有已知的目标检测器，并且在 GPU V100上 30 FPS 或更高的实时目标检测器中，YOLOv7 有最高的 56.8% AP的accuracy。YOLOv7-E6 目标检测器( 56FPS V100，55.9%AP) 比基于 transformer 的检测器 SWINL Cascade-MASK R-CNN(9.2 FPS A100，53.9%AP) 的 speed ............
深度学习论文: YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for object detectors及其PyTorch实现
mingo_敏
07-09 1294
深度学习论文: YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors及其PyTorch实现 YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors PDF: https://arxiv.org/pdf/2207.02696.pdf PyTorch代码: ht
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
小李的研究生学习日记
09-03 9756
YOLOv7在速度和精度上都超过了所有已知的物体探测器，在5FPS到160FPS的范围内，并且在所有已知的GPU V100上30 FPS或更高的实时物体探测器中，具有最高的准确率56.8%AP TEST-DEV/56.8%AP MIN-VAL。YOLOv7-E6目标探测器(56FPS V100，55.9%AP)比基于变压器的探测器Swin-L Cascade-MASK R-CNN(9.2 FPS A100，53.9%AP)的速度快509%，准确率高2%；基于卷积的探测器ConvNeXt-XL Cascade
YOLOv7论文解析: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
最新发布
xiaoxu的博客
07-04 655
YOLOv7的成就在5FPS到160FPS的范围内，在速度和精度上都超过了所有已知的物体检测器，在GPU V100上以30 FPS或更高的速度在所有已知 的实时物体检测器中具有最高的精度56.8%APYOLOv7-E6在速度和精度上优于基于transformer的检测器SWINL Cascade-Mask R-CNN基于卷积的检测器ConvNeXt XL级联掩码R-CNNYOLOv7优于。
YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
斯人若彩虹，遇上方知有！
07-28 3582
YOLOv7的初体验
Yolov7：Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors
jiangqixing0728的博客
07-31 1295
关于yolov7文章和整体改进的介绍
【读点论文】YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors新集合体
白水空空
11-18 1362
YOLOv7在5 FPS到160 FPS的范围内，在速度和精度上都超过了所有已知的物体检测器，在GPU V100上以30 FPS或更高的速度在所有已知的实时物体检测器中具有最高的精度56.8% AP。
全文翻译【YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors】
行云
07-07 1828
YOLOv7在5FPS到 160 FPS 范围内的速度和准确度都超过了所有已知的物体检测器，YOLOv7 在 5 FPS 到 160 FPS 范围内的速度和准确度都超过了所有已知的目标检测器，并且在 GPU V100 上 30 FPS 或更高的所有已知实时目标检测器中具有最高的准确度 56.8% AP。YOLOv7-E6 目标检测器（56 FPS V100，55.9% AP）比基于transformer-based的检测器 SWINL Cascade-Mask R-CNN（9.2 FPS A100，53.9
轻量级网络论文精度笔记(二)：《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
源的博客
12-02 1364
实时目标检测在计算机视觉中是一个非常重要的课题，因为它往往是计算机视觉系统中必不可少的组成部分。例如，多目标跟踪[94,93]、自动驾驶[40,18]、机器人[35,58]、医学图像分析[34,46]等。
【论文笔记】YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
JehanRio's Private Blog
05-12 1971
最近真的是一刻也不敢停下来，日子一天天的在减少，越来越焦虑了。写的虽然很多，但或者这也导致我很多博文内容质量都不够精，哭哭┭┮﹏┭┮YOLOv7是去年出的，或说这一两年YOLO大家族迭代也太快了，我去年这会儿YOLO才第五代，今年就第八代了。之前的一个项目里面也用到了YOLOv7，YOLOv7很多地方都和v5很像，这一篇我会着重去讲一下v7的创新点。本文提出了一种新的实时检测器，解决了重参化模块的替换问题和动态标签的分配问题。主要贡献：高效聚合网络架构：对ELAN扩展，提出了E-ELAN。
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for
04-26
bag-of-freebies 相关工作 实时目标检测器 目前最先进的实时目标检测算法主要基于YOLO和FCOS。 能够成为最先进的实时目标检测器的算法通常需要以下特征： （1）更快更强的网络架构 （2）一种更有效的特征集成方法...
YOLOv7: Trainable bag-of-freebies sets new state-of-th
04-19
YOLOv7 在 5 FPS 到 160 FPS 范围内的速度和精度都超过了所有已知的物体检测器，并且在 GPU V100 上具有 30 FPS 或更高的所有已知实时物体检测器中最高的 56.8% AP。YOLOv7-E6 目标检测器（56 FPS V100，55.9% AP）...
Trainable Frontend For Robust and Far-Field Keyword Spotting.pdf
08-29
Trainable Frontend For Robust and Far-Field Keyword Spotting 1. Introduction 2. Per-Channel Energy Normalization 3. Trainable PCEN Fronten 4. Experiments: PCEN vs. log-mel 5. Discussions and ...
tiny-trainable工具：Tiny Trainable Instruments是使用微型机器学习并基于微控制器的媒体艺术工具的集合
02-22
Tiny Trainable Instruments是使用微型机器学习并且基于微控制器的媒体艺术工具的集合。 Tiny Trainable Instruments是AarónMontoya 的硕士学位论文，AarónMontoya 是的研究生，也是研究团队和研究助理，在2019-...
convolution-vision-transformers:CvT的PyTorch实现
04-01
CvT：将卷积引入视觉变形金刚 CvT的Pytorch实现 用法： img = torch . ones ([ 1 , 3 , 224 , 224 ]) model = CvT ( 224 , 3 , 1000 ) ...print ( "Shape of out :" , out . shape ) # [B, num_classes] 引
yolov7论文及解读
04-23
6. **Trainable bag-of-freebies**：这可能是指通过研究不同网络结构与重参数化卷积的兼容性，设计出适应性强的重参数化策略。通过分析梯度流传播路径，YOLOv7能够更好地融合重参数化的卷积和其他网络组件，提高模型...
Tesseract-OCR.rar
05-04
Note that this is a text-only and possibly out-of-date version of the wiki ReadMe, which is located at: http://code.google.com/p/tesseract-ocr/wiki/ReadMe Introduction ============ This package ...
Matlab-基于Matlab实现可训练时间规整TTW算法-Trainable-Time-Warping-附项目源码-优质项目
05-16
在本项目中，我们主要探讨的是使用Matlab实现一种可训练的时间规整（Trainable Time Warping, TTW）算法。这种算法在处理时序数据，尤其是语音识别、音乐同步和运动分析等领域有着广泛的应用。时间规整的目标是找到...
trainable-handwriting-recognizer:可训练的手写识别器
06-10
可训练的手写识别器1993 年 3 月高中学期项目的原型。 使用 Pascal 完成大量内联 68000 程序集。 在训练模式下，使用对用鼠标绘制的字母的方向和缩放进行归一化，并将归一化的位图数据应用于训练矩阵。...
深度学习模型中的total params，Trainable params，Non-trainable params是什么意思
04-19
Total params表示模型总共的参数数量，包括可训练参数和不可训练参数。Trainable params表示可以被训练（更新）的参数数量。Non-trainable params表示不会被训练（更新）的参数数量，通常是模型中固定的一些参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值