YOLOv4(2020)论文笔记

已于 2022-08-21 22:09:40 修改
阅读量1k 收藏
点赞数 1
文章标签： 深度学习 计算机视觉 人工智能
于 2022-08-21 21:38:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40632955/article/details/126447847
版权

YOLOv4: Optimal Speed and Accuracy of Object Detection

文章目录

简介

论文采用了多种适用于大多数模型的通用特征，如跨阶段部分连接（Cross-Stage-Partial-connections (CSP)）、跨小批量归一化(Cross mini-Batch Normalization (CmBN))、Mish activation、Mosaic data augmentation，CIoU loss等方法，进一步提升了yolo的精度

  • 43.5% AP (65.7% AP50) on MS COCO dataset
  • ∼65 FPS
  • 能够使用单GPU训练

一、创新点

论文主要目的是设计一个可以运行在生产系统上的快速的目标检测系统

  • 设计的模型可以让每个人使用一个1080TI或者2080TI的GPU去训练速度快，高精度的目标检测器
  • 论文验证了当前各种方法 Bag-ofFreebies and Bag-of-Specials methods 的作用
  • 修改网络结构，并使当前先进方法，更高效地适用于单GPU训练
    • 主要在darknet引入CSP结构
    • PAN和SPP结构
    • 使用Mosaic 数据增强
    • 改善预测偏移范围
    • and so on

总结

  • 精度达到STOA，43.5% AP (65.7% AP50) on MS COCO dataset
  • 65 FPS
  • 进行了7组实验
    在这里插入图片描述

二、论文链接

原文链接

[2004.10934] YOLOv4: Optimal Speed and Accuracy of Object Detection (arxiv.org)

代码链接

yolov4-pytorch bubbliiiing
Tianxiaomo/pytorch-YOLOv4

论文投稿期刊

CVPR2020

相关论文链接

CSPNet: A New Backbone that can Enhance Learning Capability of CNN (2020)
SPP:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition (2015)
PAN: Path Aggregation Network for Instance Segmentation (2018)
CBAM: Convolutional Block Attention Module(ECCV 2018)
CBN: Cross-Iteration Batch Normalization (CVPR 2021)
FPN :Feature pyramid networks for object detection(2017)
Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression(AAAI 2020)

三、论文评价

  • 行文：论文将一系列的技巧方法，分类为两大类Bag-ofFreebies and Bag-of-Specials methods，每类总结归纳得可以，然后经过消融实验，选择最优
  • 创新：主要是使用了许多tirck，进行消融实验，对yolov2的一些细小的不足，做了点修改，如bbox预测的偏移范围，增加正样本等

四、模型

在这里插入图片描述

  • CSPDarknet53 更适合目标检测
  • SPP目的：来增加感受野，和捕捉上下文信息
  • PAN目的：融合不同特征层

网络整体架构

图片来源
在这里插入图片描述

  • backbone 为在Darknet53上引入CSP（来自CSPNet）
  • backbone末尾（即neck）加入了SPP结构
  • neck的整体流程基本上是经过backbone ，然后金字塔结构上采样，再进行一次金字塔结构下采样，也就是PAN结构（来自PANet）

CSPDarknet53

CSPDarknet53的整体网络结构图
CSP结构是在CSPNet（Cross Stage Partial Network）论文中提出的，改论文作者认为，这个模块有以下好处：

  • 增强CNN网络的学习能力
  • 减少网络的计算量
  • 减少显存占用
    在这里插入图片描述
  • CSP结构是将base layer ，分成两部分进行操作，再融合，对应yolov4，
    在这里插入图片描述
  • 论文讲到，分类效果好的，不一定也适合目标检测，目标检测需要higher resolution，more layers来达到范围更大的感受野，以及more parameters 来检测不同大小的目标
  • CSPDarknet53 是最佳选择

SPP

  • 目的：来增加感受野，和捕捉上下文信息
  • SPP就是将特征层分别通过一个池化核大小为5x5、9x9、13x13的最大池化层，然后在通道方向进行concat拼接在做进一步融合，这样能够在一定程度上解决目标多尺度问题
    在这里插入图片描述

PAN

  • 目的：不同特征层的参数融合
  • 结构类似于在金字塔（自顶至下特征融合）基础上，再接上一个倒金字塔（自下至顶特征融合）。
    在这里插入图片描述
  • 原论文PAN不同的是，融合的方式采用通道拼接，而不是addtion
    在这里插入图片描述

优化策略

  • Bag of freebies ：改变训练策略或者增加训练成本（不会导致推理成本增加），来提高精度
    • 数据增强：brightness，flipping，ramdom erase，Dropout，GAN等
    • 数据不平衡：focal loss，hard example mining
    • soft label 增强类间的关联度：label smoothong，knowledge distillation
    • 修改bbox回归的损失函数，以增加目标的整体性：IoU loss，GIoU loss，DIoU loss, CIoU loss（结合了重叠面积，中心点距离和长宽比几何参数）
  • Bag of specials：那些增加一点推理成本，却带来精度提升的插件模块或者后处理方法
    • 扩大感受野：SPP，ASPP，RFB
    • 注意力模块：SE，SAM （Spatial Attention Module)
    • 特征融合：skip connection、FPN，SFAM , ASFF , BiFPN
    • 激活函数： ReLU 、LReLU , PReLU, ReLU6，SELU, Swish , hard-Swish, Mish
    • 后处理： NMS, DIoU NMS
      在这里插入图片描述
  • Eliminate grid sensitivity
    • 在原yolov3中，计算中心点的公式：
      • b x = σ ( t x ) + c x b_{x}=σ(t_{x})+c_{x} bx​=σ(tx​)+cx​
      • b y = σ ( t y ) + c y b_{y}=σ(t_{y})+c_{y} by​=σ(ty​)+cy​
    • σ使得预测的偏移量在（0,1），若要目标中心落在网格边上，则网格的预测值需要 t x 或者 t y t_{x}或者t_{y} tx​或者ty​负无穷或者正无穷才能取到
    • 为解决这个问题，引入了大于1 的缩放系数
    • 大多 s c a l e x y scale_{xy} scalexy​设置为2，这使得 t x 或者 t y t_{x}或者t_{y} tx​或者ty​的范围可达到(−0.5,1.5)在这里插入图片描述
  • Mosaic data augmentation
    • 用四张图像拼接成一张图像，这样可以减少batch size的大小
  • IoU threshold（正样本匹配）
    • 在YOLOv3中针对每一个GT都只分配了一个Anchor
    • 但在YOLOv4，一个GT可以同时分配给多个Anchor（超过IoU阈值）
  • Optimized Anchors
    • 针对 512x512 network resolution，修改了anchor的尺寸
    • 在这里插入图片描述
  • CIoU loss
    • 在这里插入图片描述

五、实验

数据集

  • accuracy of the classifier on ImageNet (ILSVRC 2012 val) dataset
  • accuracy of the detector on MS COCO (test-dev 2017) dataset.

参数设置

  • image 分类实验,
    • the training steps：8000000
    • batch size and the mini-batch size： 128 and 32
    • lr schedule：polynomial decay learning
      • initial learning rate 0.1
      • the warm-up steps ：1000
      • the momentum：0.9
      • weight decay：0.005
  • 目标检测实验
    • the training steps ：500,500
    • batch size 64 ，mini-batch size： 8 or 4
    • lr schedule ：step decay learning
      • initial learning rate 0.01
      • multiply factor 0.1，at the 400,000 steps and the 450,000 steps,
      • momentum：0.9
      • weight decay：0.0005

具体实验

实验1(networks for image classification)

在这里插入图片描述

  • CSPDarknet53 is the optimal model

实验2(Influence of different features on Classifier training)

在这里插入图片描述

  • 有作用的： CutMix 、Mosaic data augmentation, Class label smoothing, Mish activation
    在这里插入图片描述

实验3(Ablation Studies of Bag-of-Freebies)

在这里插入图片描述

  • using model CSPResNeXt50-PANet-SPP , 512x512
  • S: Eliminate grid sensitivity
  • M: Mosaic data augmentation
  • IT: IoU threshold 一个gtbbox 可以匹配多个anchors
  • GA: Genetic algorithms ，选择超参数
  • OA: Optimized Anchors

实验4(Ablation Studies of Bag-of-Specials)

在这里插入图片描述

实验5(Influence of different backbones and pretrained weightings)

在这里插入图片描述

  • 在分类上效果好的，不一定在检测上效果好
  • CSPResNeXt50在分类上效果超过CSPDarknet53，但检测效果不如CSPDarknet53

实验6(Influence of different mini-batch size )

在这里插入图片描述

  • mini-batch的大小几乎不影响检测网络的效果

实验7(Comparison of the speed and accuracy)

在这里插入图片描述

  • 在不同GPU上，在超过30FPS的模型中，YOLOv4 在精度几乎超过所有模型
qq_40632955
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【YOLOv8改进-论文笔记】动态蛇形卷积（Dynamic Snake Convolution）用于管状结构分割任务
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
01-18 8137
精确分割拓扑管状结构，例如血管和道路，对各个领域至关重要，可确保下游任务的准确性和效率。然而，许多因素使任务变得复杂，包括细小脆弱的局部结构和复杂多变的全局形态。在这项工作中，我们注意到管状结构的特殊特征，并利用这一知识来引导我们的 DSCNet 在三个阶段同时增强感知：特征提取、特征融合和损失约束。首先，我们提出了一种动态蛇形卷积，通过自适应地聚焦于细长和曲折的局部结构，来准确捕捉管状结构的特征。
【YOLOv10】2024年5月最新的YOLO系列模型Yolov10(论文阅读笔记) + 完整创新点说明 + 总结
最新发布
静谧、淡雅
05-29 2129
2024年5月最新的YOLO系列模型Yolov10的论文阅读笔记
爆炸！YOLOv4 重磅来袭！（附下载链接）
gzq0723的博客
04-25 7312
点击蓝字关注我们扫码关注我们公众号: 计算机视觉战队扫码回复：YoloV4，获取下载链接期待已久的检测经典又来来了一波强袭——yolov4。背景&简述有大量的特征被认为可以...
YOLOV4论文记录
Mihu_Tutu的博客
04-30 807
1 论文和代码 论文地址 论文代码 2 不同版本的YOLOV4 Tensorflow2.0版 https://github.com/rrddcc/YOLOv4_tensorflow TensorFlow 版 https://github.com/klauspa/Yolov4-tensorflow PyTorch版 https://github.com/GZQ0723/YoloV4 ...
YOLOv4论文笔记
WAXXHHHH的博客
10-08 231
1.introduction: 关注于建立一个能够实时操作和在传统gpu上的cnn，只需要一块gpu。贡献主要包括： 1设计了一个目标检测detector，使能够在1080ti训练非常快和精确的目标检测器。 2验证了在检测器训练阶段无痛涨点和特殊涨点的方法 3修改了这些方法，使他们更有效和适合单gpu训练。 2.related work 2.1目标检测方法 检测器主要包括两部分：backbone（vgg，resnet，densenet），head部分分为两类：one-stage,two-stage，最
YOLO 系列论文精读 & YOLOv4
Flying Bulldog 的博客
08-25 2302
YOLO系列的论文已经告一段落，期间也精读了DETR系列的一些论文，颇有感受。YOLOv4更像是一篇总结性的文章，具体描述了整个模型的各个阶段，并对每个阶段的经典算法进行了研究和消融实验，值得我们重新思考神经网络模型的框架。我们提供了一个最先进的探测器，它比所有可用的替代探测器更快( FPS )和更准确的( MS COCO AP50 ... 95和AP50)。所描述的探测器可以在具有8 - 16GB - VRAM的传统GPU上训练和使用，这使得它的广泛应用成为可能。...
YOLO_v4讲解
weixin_43702653的博客
04-19 1万+
YOLO_v4最全讲解
YOLOv3论文笔记1
08-03
该论文介绍了YOLOv3如何采用改进的技术来优化其前一代YOLOv2的设计，包括引入更好的基础网络结构、优化边界框预测方式以及实现多尺度预测。 首先，YOLOv3引入了多尺度预测，以适应不同大小的目标。这种设计灵感来源...
【YOLOv8改进-论文笔记】RFAConv：感受野注意力卷积，创新空间注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
01-24 9591
空间注意力已被广泛用于提升卷积神经网络的性能。然而，它存在一定的局限性。在本文中，我们提出了一个关于空间注意力有效性的新视角，即空间注意力机制本质上是解决卷积核参数共享的问题。然而，由空间注意力生成的注意力图中包含的信息对于大尺寸卷积核来说并不充分。因此，我们提出了一种名为感受野注意力（Receptive-Field Attention，简称RFA）的新型注意力机制。
YOLOv9改进 | 一文带你了解全新的SOTA模型YOLOv9（论文阅读笔记，效果完爆YOLOv8）
热门推荐
Snu77的博客
02-22 1万+
YOLOv9发布时间为2024年2月21日是当前的SOTA模型，当今的深度学习方法专注于如何设计最合适的目标函数，以使模型的预测结果尽可能接近真实值。同时，还需要设计一个合适的架构，以便获取足够的信息进行预测。现有方法忽略了一个事实：当输入数据经过逐层的特征提取和空间变换时，会丢失大量信息。本文将深入探讨数据在深度网络中传输时数据丢失的重要问题，即信息瓶颈和可逆函数问题。我们提出了可编程梯度信息（PGI）的概念，以应对深度网络实现多个目标所需的各种变化。PGI能够为目标任务提供完整的输入信息。
yolo框架学习笔记——各版本对比
hehehetanchaow的博客
12-11 3498
参考链接：https://blog.csdn.net/weixin_47196664/article/details/107479182 https://zhuanlan.zhihu.com/p/76802514 YOLOV4： 1）相较于YOLO V3的DarkNet53，YOLO V4用了CSPDarkNet53 2）相较于YOLO V3的FPN,YOLO V4用了SPP+PAN 3）CutMix数据增强和马赛克（Mosaic）数据增强 4）DropBlock正则化 等等 YOL
【YOLO系列】YOLOv4
qq_273058791的博客
08-22 543
YOLOv4是对YOLOv3的一个改进，总结了几乎所有的检测技巧，引用文献量**超过100篇**，又提出了一点技巧，然后经过筛选，排列组合，挨个实验哪些方法有效。实际上是一种技巧的堆叠，没有提出实质性的新内容，但确实提高了性能。
卷积神经网络——YOLOv4论文翻译
itlilyer的博客
10-20 2498
论文链接：https://arxiv.org/abs/2004.10934 YOLOv4: Optimal Speed and Accuracy of Object Detection Abstract 有大量的特性都自称可以提升卷积神经网络(CNN)的精度。仍然需要在大数据集上实际测试这些特性的组合并对结果进行理论证明。一些特性只能应用在特定模型上，或针对特定问题，或只应用与小尺度的数据集；另一些特征，像BN和残差连接可以应用到大部分的模型、任务和数据集上。我们假设通用的特征包括加权残差链接(WRC),跨
【YOLO】YOLOv4训练自己的数据集
qq_44703886的博客
01-15 1万+
虽然在笔者写这篇博客的时候，YOLOv5已经问世，但是看到许多博客都说YOLOv4效果更佳，具体如何，笔者得亲测才能认同。 YOLOv4论文链接 YOLOv4代码链接 环境搭建 1. 创建虚拟环境并激活 conda create -n yolo4 pip python=3.6 conda activate yolo4 2. Requirements 安装必要的依赖项 根据github： conda install cudatoolkit=10.0 conda install cudnn=7.6.5
Yolov4论文阅读
qq_37546267的博客
07-14 998
论文地址：https://arxiv.org/pdf/2004.10934.pdf yolov4和yolov5两个模型相继在四五月份出来(尽管后者的名字还存在一些争议)，最近正好有一个目标检测的任务要做，就试了试yolov5，只用yolov5s网络的默认参数在自己的数据集上训练就达到了很好的检测效果，速度也相当快(在GTX1070上检测一帧640x640的图像耗时仅仅8ms)。然而yolov5在很大程度上只是从工程上对yolov4进行了优化，也没有相应的论文，所以把yolov4的论文仔细阅读了一下，发现文章
最强目标检测算法YOLOv4论文解读
浩瀚之水的专栏
02-10 2071
本文仅为笔者个人浅显的理解，如各位发现有误的地方欢迎指正。 一、概述 YOLO v4中，作者做了很多实验，把近年比较火的一些方法加入YOLO中，最终取得了速度和精度的提升。通过了解YOLO v4，我们就可以知道最近几年有哪些方法被提出来，整篇论文更像是一篇综述。 YOLO v4中使用的方法 加权残差连接（WRC）跨阶段部分连接（CSP）交叉小批量归一化（CMBN）自动对抗训练（SAT）MISH激活镶嵌数据增强CmBNDROPBOLD正则化CIOU损失目标检测算法比较 通过上图可以看出，在MSC
如何显著提升小目标检测精度？深度解读Stitcher：简洁实用、高效涨点
迈微AI研习社 · 号主
05-10 1505
在这个问题下面和大家分享一下我们的工作，正好解释一下我们和YOLO v4 - Mosaic的区别与联系，以及这种类似的做法为什么能涨点，以及其他可以挖掘的点。
yolov 论文发表在什么期刊上_joe期刊是什么期刊_joe是什么意思_joe牌子
weixin_29234423的博客
12-23 1546
如何评价新出的YOLO v4？YOLO(v1-v3)源代码库：www.nxhh.net/s:// github.com/pjreddie/dar knet 这是来自YOLO系列(v1-v3)作者 Joe Redmon的认同！个人猜测YOLOv4的作者团队本可以挂上Joe Redmon的名字的，但...进入美国sci数据库检索入口一般大学图书馆会有，比如进入南京大学图书馆网站 lib.nju.edu...
YOLOv1论文详解：目标检测新范式
"YOLO系列YOLOv1论文深度解析（翻译 ＋学习笔记）涵盖了目标检测领域的一个重要里程碑。该论文由Joseph Redmon等研究人员在2015年提出，旨在解决目标检测速度与精度之间的平衡问题，与传统的两阶段方法如R-CNN不同，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值