YOLOv4学习笔记

最新推荐文章于 2024-06-30 15:59:08 发布
最新推荐文章于 2024-06-30 15:59:08 发布
阅读量651 收藏 5
点赞数
分类专栏： 目标检测 文章标签： 深度学习 神经网络 计算机视觉 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43933981/article/details/105938691
版权

引言：

        标题YOLO 之父 Joseph Redmon退出cv界，而是来自俄罗斯的 Alexey Bochkovskiy和两位台湾开发者Chien-Yao Wang、Hong-Yuan Mark Liao联手大推出YOLOv4，并且得到YOLOv3作者Joseph Redmon的承认。43.5%mAP+65FPS 精度速度最优平衡，非常惊艳！

论文链接：https://arxiv.org/pdf/2004.10934.pdf
代码链接：https://github.com/AlexeyAB/darknet（论文给出的代码链接）

目前Github上已经有了一些代码：
YOLOv4的TensorFlow2.0实现：https://github.com/xiao9616/yolo4_tensorflow2
YOLOv4的TensorFlow实现：https://github.com/klauspa/Yolov4-tensorflow
YOLOv4的PyTorch 实现：https://github.com/GZQ0723/YoloV4
YOLOv4的Keras 实现：https://github.com/Ma-Dan/keras-yolo4

yolov4的性能效果图如下：

在这里插入图片描述

一、贡献：

  1. 开发了一个高效、强大的目标检测模型。它使每个人都可以使用1080 Ti或2080 TiGPU来训练一个超级快速和准确的目标探测器。
  2. 验证了在检测器训练过程中，最先进的Bag-of-Freebies和Bag-of-Specials 的目标检测方法的影响。
  3. 修改了最先进的方法，使其更有效，更适合于单GPU训练，包括CBN、PAN、SAM等

二、相关工作

论文对现有目标检测做了一个总结，并将所有的调优手段分为了两大类：
        1.Bag of freebies（免费礼包）
        2.Bag of specials（特价包）

2.1、目标检测模型

        论文对现有目标检测做了一个总结，不管是one-stage还是two-stage，都分为四个部分：
                Input， backbone， neck， head
        每个部分都有很多选择，不同的组合，构造出各种目标检测框架。
在这里插入图片描述

  1. Input： Image, Patches, Image Pyramid（图像金字塔）
  2. Backbones： VGG16 [68], ResNet-50 [26], SpineNet [12], EfficientNet-B0/B7 [75], CSPResNeXt50 [81], CSPDarknet53 [81]
  3. Neck:
    (1)、Additional blocks: SPP [25], ASPP [5], RFB [47], SAM [85]
    (2)、Path-aggregation blocks: FPN [44]（特征金字塔网络）, PAN [49], NAS-FPN [17], Fully-connected FPN, BiFPN [77], ASFF [48], SFAM [98]
  4. Heads:
    (1)、Dense Prediction (one-stage):
    ◦ RPN [64], SSD [50], YOLO [61], RetinaNet [45] (anchor based)
    ◦ CornerNet [37], CenterNet [13], MatrixNet [60], FCOS [78] (anchor free)
    (2)、Sparse Prediction (two-stage):
    ◦ Faster R-CNN [64], R-FCN [9], Mask RCNN [23] (anchor based)
    ◦ RepPoints [87] (anchor free)

2.2、Bag of freebies（免费礼包）

        为提高精度，在训练的时候改变训练策略 或 只会增加训练成本的方法， 这些方法不在推理中使用，不增加推理成本。包含的方法有：

1. 数据扩充（pixel-wise调整）：
（1）几何畸变：随机缩放、剪切、翻转和反旋转
（2）光度畸变：亮度、对比度、饱和度和色调改变，添加噪声。

2. 模拟对象遮挡：

  • random erase，CutOut：可以随机选择图像中的矩形区域，并填充一个随机的或互补的零值。
  • hide-and-seek、grid mask：随机或均匀地选择图像中的多个矩形区 域，并将其全部替换为0。
  • feature map上做正则处理：
    • DropOut：整体随机扔
    • DropConnect：只在连接处扔，神经元不扔
    • Spatial Dropout：按通道随机扔
    • DropBlock：每个特征图上按spatial块随机扔

3. 结合多张图来进行增强：

  • Mixup、CutMix（这两个是打比赛常会用到的方法）

4. GAN、Style Transfer GAN

5. 解决类别不平衡：

  • 用于two-stage:
    • Hard Negative Example Mining（难负样本挖掘）
    • Online Hard Example Mining（在线难例挖掘）
  • 用于one-stage：
    • Focal Loss（目标是解决样本类别不平衡以及样本分类难度不平衡等问题）

6. one-hot类别之间没有联系：

  • Label Smoothing（标签平滑）
  • 知识蒸馏

7. BBox回归：
IoU—>GIoU—>DIoU—>CIoU，从最开始引用IoU损失函数，到改进如何更好优化，一系列方法。

2.2、Bag of specials（特价包）

        那些仅增加少量推理成本但可以显着提高对象检测准确性的插件模块和后处理方法，比如SE模块等注意力机制模块，还有特征融合FPN等模块。
        可分为插件模块和后处理方法。

1.插件模块

  • （1）提高模型感受野（enhance receptive field）：
    • SPP：空间金字塔结构
    • ASPP：带空洞卷积的空间金字塔结构
    • RFB：RFB（Receptive Field Block）借鉴了Inception的思想，主要是在Inception的基础上加入了dilated卷积层（膨胀卷积），从而有效增大了感受野。
  • （2）注意力机制（attention module）：
    • Channel Attention:
          channel attention就是对每个C(C x H x W的特征图)，在channel维度上，学习到不同的权重，平面维度上权重相同。
          简单的说就是在channel维度上权重不一样，在HxW平面上权重一样。
          SE(Squeeze-and-Excitation)是channel attention的典型代表，可以改善resnet50在分类任务上提高1%精度，但是会增加GPU推理时间10%。
    • SAM（Spatial Attention Module）
          spatial attention就是对于所有的通道，在二维平面上，对H x W尺寸的图学习到一个权重，对每个像素（你可以想象成一个像素是C维的一个向量）都会学习到一个权重。
          简单的说就是在channel维度上权重一样，在HxW平面上权重不一样。
  • （3）特性融合模块（feature integration）：
    • Skip connection:早期使用
    • hyper-column:早期使用
    • FPN(Feature Pyramid Networks):
      • SFAN():
        利用SE模块对多尺度拼接的特征图进行信道级配重权。
      • ASFF(Adaptive Spatial Feature Fusion):
        自适应空间特征融合,使用softmax作为点向水平重加 权，然后添加不同尺度的特征映射。
      • BiFPN:
        提出了多输入加权剩余连接来执行按比例加权的水平重加权，然后加入不同比例的特征映射。
  • （4）激活函数（activation function）：
    • ReLU:
    • LReLU:
    • PReLU:
    • ReLU6:
    • SELU:

2. 后处理方法

  • NMS: 非极大值抑制
  • soft-NMS: 解决对象的遮挡问题
  • DIou-NMS: 将中心点分布信息添加到BBox筛选过程中

三、YOLOv4核心

3.1、yolov4最终方案

YOLOv4模型 = CSPDarkNet53 + SPP + PANet(path-aggregation neck) + YOLOv3-head

backbone：CSPDarknet53[81]
​neck：SPP[25]，PAN[49]
​head：YOLOv3[63]

•主干线免费包（BoF）：CutMix和Mosaic数据增强、DropBlock正则化、类标签平滑
•主干网专用包（BO）：
误激活、跨阶段部分连接（CSP(Cross-Stage-Partial-connection)）、多输入加权剩余连接（MiWRC）
•检测的免费包（BoF）：CIoU丢失，CmBN，DropBlock正则化，马赛克数据增强，自我对抗训练，消除网格敏感度，使用多个锚实现单一地面真理，cosineanAlingScheduler[52]，最佳超参数，随机训练形状
•检测专用包（BoS）：Mish激活、SPP块、SAM块、泛路径聚合块、DIoU NMS Experiments

3.2.创新点

1、提出新型数据增强方法 Mosaic 和自对抗训练（SAT(Self adversarial training)）；
2、修改现有方法，使新方法实现高效训练和检测：modified SAM、modified PAN 和 CmBN
(1)、modified SAM:
改进了SAM，将pooling层改为了卷积层，并去掉一个卷积层,如下图所示：在这里插入图片描述
（2）、modified PAN ：
改进PAN， 在连接处将addition改为concatenation
在这里插入图片描述
（3）、CmBN(Cross mini-Batch Normalization):
改进了CBN, CmBN-使用跨小批量规范化来收集整个批次内的统计信息，而不是在单个小批量内收集统计信息.
在这里插入图片描述

化石草
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Yolo v4学习心得
weixin_43402168的博客
06-19 577
** Yolo v4学习心得 1 Yolo v4网络框架 2网络框架改进 2.1 主干网络改进 比较Yolo v3主干网络框架，Yolo v4主干网络框架由Darknet53变为了CSPDarknet，该主干网络较Darknet53有两个主要的改进，其一：改变了残差结构，运用了CSPnet网络的残差结构。其二：改变了激活函数，将Darknet53中的激活函数LeakyReLU修改成了Mish激活函数。 2.2 空间金字塔池化（spp） 引入空间金字塔池化，采用不用尺寸的池化核，极大地增加感受野，分离出最显
YOLOv4学习笔记（1）——网络结构
qq_46292437的博客
02-21 4105
模型结构定义了从输入数据到输出预测的信息流 本文介绍了YOLOv4的网络结构以及提供基于pytorch的实现的代码 .
【yolov4】学习笔记一
12-21
想多熟悉下pytorch,因而选择了yolov4-pytorch版本来熟悉整个流程。 代码下载地址: https://github.com/Tianxiaomo/pytorch-YOLOv4 这位大神厉害啊，这么快就复现了,好好学习膜拜中！ yolov4.weights权重百度网盘下载地址: https://pan.baidu.com/s/1dAGEW8cm-dqK14TbhhVetA 提取码:dm5b 下载后用pycharm打开工程。 个人更喜欢把参数写在代码中，所以将demo.py中main部分改为 if __name__ == '__main__': cfgfile = 'cfg
YoloV4学习
qq_44021109的博客
08-28 345
YoloV4数据集制作方法（pytorch环境 Labelimg） 激活pytorch环境 打开软件labelimg Annotations 3. 制作数据存放文件夹（图片放在photo里，标注结果放在Annotations里） 选择Open Dir打开存放原始图片的文件夹photo 选择自动保存模型 更改标注内容地址到Annotations里 快捷键说明： W：开始标注 A：上一张图片 D：下一张图片 标注内容命名 更该图片名字（右击图片） 这样就
YOLOv4详细解释
qq_65960840的博客
06-30 1194
一个目标检测网络的组成可以由一个公式来描述。
YOLOV4学习笔记
互相学习的小博客
03-23 3567
YOLOV4学习笔记
YOLOv4论文阅读笔记整理
yunxinan的专栏
07-01 339
YOLOv4论文阅读笔记整理 摘要 作者在YOLOv3基础上使用了 WRC（weighted-Redsidual-Connections）加权残差链接、 CSP（Cross-Stage-Partial-Connections）跨阶部分链接、 CmBN（Cross mini-Batch Normalization） 跨小批量标准化 、 SAT（Self-adversarial-training）自对抗训练、 Mish（Mish-activation ）激活函数、 Mosaic（Mosaic data augm
YOLOv4学习笔记（2）——训练策略
qq_46292437的博客
02-23 2591
文章介绍了YOLOv4在训练策略上相对于之前目标检测网络上的一些改进，分别讲解Mosaic数据增强、自对抗训练（SAT）、CmBN（Cross min-batch Normalization）策略、Dropblock正则化和其回归损失函数
YOLOV8学习笔记1
yang的博客
05-16 751
​在此之前没有学习和训练过任何深度学习网络，所以一开始无从下手。主要是借鉴了别人的博客：1、本人在之前已经配置好GPU版本的深度学习环境（），但是跟着这个链接运行，不知道为什么还是cpu训练。原因可能是我没有在安装好CUDA的虚拟环境中运行。2、（GPU版本的、大佬写的很好，很清楚详细）
YOLOV8学习笔记2
yang的博客
05-29 3667
YOLOV8训练结果分析
YoloV4论文学习
SeventhBlue
09-28 370
一、引言 贡献有三点： 开发了一个高效、强大的目标检测模型，可以让任何人仅仅通过1080TI或2080TI训练一个快速且检测准确的检测器。 通过大量的训练实验验证Bag of Freebies和Bag of Specials对检测的影响。 改进CBN、PAN、SAM等等方法，使之更适合单GPU训练。 yolov4跟其他算法的对比图： 二、相关工作 2.1 目标检测模型 深度学习的目标检测器一般包含两个部分。第一，骨干网络（backbone）；第二，检测头（head）。目前常见运行在GPU的
yoloV4.pdf
04-29
yoloV4速度效率双提升。将 AP 和 FPS 分别提高了10%和12%。该论文是非常好的目标检测学习资料。详细讲解了各种tricks的效果。
YOLOV4-学习知识梳理
u010674979的博客
06-22 1076
参考文章链接： https://blog.csdn.net/weixin_41560402/article/details/106119774 https://www.cnblogs.com/wujianming-110117/p/13845974.html 1 网络结构图 1.1详细网络结构 Yolov4的网络结构也可以使用netron工具查看，也是对照其展示的可视化流程图绘制的下方网络结构图。 Yolov4的结构图和Yolov3相比，因为多了CSP结构，PAN结构 1.2Y..
Yolo v4的学习
weixin_51015047的博客
03-28 464
文章目录前言route层是yolo中提出的一个层级概念，在一些文章中也叫做路由层。它的作用是在当前层引出之前卷积所得到的特征层一、 YOLO V4的网络结构二、分析各部分1.CSPDarknet53**1.1 Mish激活函数**1.2 Darknet53（yolo v3使用）1.3 CSPDarknet53网络结构图（YOLO V4使用）3.Neck:SPP+PAN3.1 SPP是Spatial pyramid pooling的缩写，即空间金字塔池化。3.2 PAN是Path Aggregation N.
yolov4学习记录
qq_276982536的博客
05-18 242
#YOLOv4采用的优化方法 ##activation Activations: ReLU, leaky-ReLU, parametric-ReLU, ReLU6, SELU, Swish, or Mish 论文中采用Mish，实验验证的。
Yolov4详解
xiahan_qian的博客
05-26 1万+
文章目录前言一、Yolov4网络结构1.backbone：CSP Darknet-532.SPP池化3.PAN和Yolo head二、改进点1.Mosaic数据增强2.anchor偏移机制3.正负样本匹配4.Loss 前言 上一篇文章我们讨论了yolov3，yolov3在速度与精度上达到了一个较好的平衡，堪称经典之作，可惜在yolov3之后的原作者Joseph Redmon因为yolo的军事应用和对他人个人隐私风险而退出了yolo系列的研究，从此cv界痛失一员大将.但是经典之作总会源远流长，即使yolo原
YOLOv4学习资源转载
PyBigStar的博客
10-26 185
YOLOv4学习资源转载 Redmon写完YOLOv3，退出计算机视觉领域之后，又有其他大佬推动着这一目标检测神器的发展。YOLOv4我没有看原论文，而是找了一些博客资源进行学习，现在把我找到的博客资源分享在此。 看完这些博客之后，YOLOv4其实并没有引入特别创新的idea，作者的目标就是为了设计一个用于实际工作环境的快速目标检测系统。因此，YOLOv4个人感觉相当于在YOLOv3的基础之上加入了很多的Bag of freebies和Bag of specials。 YOLO-V4解读：速度与精度的
yolov4的全面详解
热门推荐
笼中鸟
10-13 5万+
一. 前言 作者AlexeyAB大神！ YOLOv4 拥有43.5%mAP+65FPS ，达到了精度速度最优平衡, 作者团队：Alexey Bochkovskiy&中国台湾中央研究院 论文链接： https://arxiv.org/pdf/2004.10934.pdf 代码链接： https://github.com/AlexeyAB/darknet ———————————————— 在讲YOLOv4之前，先介绍一下两个包：Bag of Freebies(免费包)和Bag-of-...
YOLOV4详解
bobchen1017的博客
03-22 1153
详解YOLOV4
yolov10 学习笔记
最新发布
07-12
YOLOv10（You Only Look Once version 10）是一种基于深度学习的目标检测算法，它是YOLO系列的最新版本之一。YOLO算法以其实时性和高效性能而闻名，它将目标检测任务分解成预测bounding box（边界框）及其对应的类别。 学习YOLOv10的学习笔记可能会包括以下几个关键点： 1. **基础原理**：回顾YOLO的前身（如YOLOv3、YOLOv5），理解单次前向传播就完成目标检测的基本思想。 2. **网络结构**：YOLov10包含更多的新颖特征层和技术，如更深层次的残差块、注意力机制等，解释如何提高检测准确度。 3. **损失函数**：介绍Focal Loss和Smooth L1 Loss等优化策略，以及它们在防止过拟合、处理类别不平衡数据的作用。 4. **训练过程**：如何设置超参数如学习率、批量大小、训练轮数等，以及数据预处理步骤，如归一化、数据增强等。 5. **模型部署**：如何将训练好的模型应用到实际场景，例如通过TensorFlow或PyTorch框架进行推理。 6. **案例分析**：通过一些实战案例展示YOLOv10在行人检测、车辆识别等任务中的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值