YOLO-v4

最新推荐文章于 2021-07-07 20:48:51 发布
最新推荐文章于 2021-07-07 20:48:51 发布
阅读量663 收藏 3
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375318/article/details/106562582
版权

《YOLOv4:Optimal Speed and Accuracy of Object Detection》
—yolov4:物体检测的最佳速度和精度
作者：Alexey Bochkovskiy ,etc
单位：待写
发表会议及时间: CVPR 2020

YOLOv4: Optimal Speed and Accuracy of Object Detection

Submission history
From: Alexey Bochkovskiy [view email]
[v1] Thu, 23 Apr 2020 02:10:02 UTC (3,530 KB)

Abstract:

There are a huge number of features which are said to improve Convolutional Neural Network (CNN) accuracy. Practical testing of combinations of such features on large datasets, and theoretical justification of the result, is required. Some features operate on certain models exclusively and for certain problems exclusively, or only for small-scale datasets; while some features, such as batch-normalization and residual-connections, are applicable to the majority of models, tasks, and datasets. We assume that such universal features include Weighted-Residual-Connections (WRC), Cross-Stage-Partial-connections (CSP), Cross mini-Batch Normalization (CmBN), Self-adversarial-training (SAT) and Mish-activation. We use new features: WRC, CSP, CmBN, SAT, Mish activation, Mosaic data augmentation, CmBN, DropBlock regularization, and CIoU loss, and combine some of them to achieve state-of-the-art results: 43.5% AP (65.7% AP50) for the MS COCO dataset at a realtime speed of ~65 FPS on Tesla V100. Source code is at this https URL

一 论文导读

YOLO系列：

YOLOv1:You Only Look Once
YOLOv2:(YOLO9000):Better, Faster,Stronger
YoLOv3: An Incremental improvenemt
YOLOv4: Optimal Speed and Accuracy of Detection

总的来说还是，追求更高的速度与精准

  • 目标检测

找出图像中感兴趣的物体，标注位置

目标检测

two-tage (精度高) 分为两个过程:
A、基于图片提出若干可能包含物体的区域 Region Proposal
B、在提出的这些区域上运行分类网络，得到区域内物体的类别

one-stage (速度快)
直接从图片获得预测结果region-free
速度快
全局处理背景错误相对较少
泛化能力好

  • 研究意义

是计算机视觉和数字图像处理的一个广泛用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。同时，对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用，

Faster RCNN，第一个端到端网络
YOLO，检测网络模型
FPN，第一个特征融合网络
CornerNet，第一个点检测网络
FCOS，特征融合+点检测
Cascade RCNN，多任务网络模型代表
mask RCNN，是Faster RCNN的进一步改进
SSD，早期单阶网络
DSSD、SSD的进一步改进可变形卷积

  • 研究背景（目的）

一 是为应用于检测网络应用于生产系统
1.工业生产精度:
常规图形处理单元上高精度的检测网络无法实时运行，常牺牲精度换速度
2.训练成本:
高精度的检测网络训练成本高，需要使用大量的GPU

二 是探索目标检测领域训练技巧

训练技巧的选择
训练技巧的使用
训练技巧的组合
训练技巧的创新

实例：
几何畸变，光照变化
遮挡处理，正则化
图像增强，GAN
数据分布不平衡处理，loss
设计提高感受野，注意力机制，
特征融命，激活函数，非极大值抑制
超参数化，自对抗训练，等

参考:《Bag of Freebies for Training Object Detection NeuralNetworks》

  • 研究成果：

在coco数据集.上准确率和速度，43.5%的AP, 超出yolov3近10个点

  • yolov4意义

1.对调优手段做出了很好的总结
Bag of freebies
Bag of specials
2.创新提出了Mosaic数据增强方法
3.创新提出了自对抗训练法
4.改进SAM，改进PAN，和交叉小批量标准化(CmBN)，使网络设计适合于有效的训练和检测

  • YOLO-v1

yolov1
优点:
loss设计，将检测任务视为回归问题
计算量少，速度快，背景误识率低
泛化性能好

缺点:
小目标精度不够
密集目标识别不足( B=2 )
异常长宽比目标识别不足

主要过程:
将原始图片尺寸变为448x448 ;

将图片划分为SxS ( =7 )个网格。每个网格预测B ( =2 )个bounding box的置信度和box的位置( Box中心坐标x,y以及Box的宽和高) ;每个网格预测C ( =20 )个条件类别概率P。

  • YOLO-v2

yolov2/YOLO 9000

改进点:
引入anchor
vgg-> darknet-19
高分辨率
多尺度训练
wordTree

darknet19 : 用1*1conv代替全连接层batch normalization.

  • YOLO-v3

改进点:
darknet-53多标签
分类预测
多尺度预测

  • YOLO-v4

通用目标检测算法结构

  1. Input：Image、Patches、Image Pyramid
  2. Backbone:VGG、Resnet、EfficientNet
  3. Neck:
    <1>Additional blocks:SPP、ASPP、RFB、SAM
    <2>Path-aggregation blocks:FPN、PAN、NAS-FPN、Fully-connected FPN、BiFPN、ASFF、SFAM
  4. Heads
    <1>Dense Prediction(one-stage)
    <2>Sparse Prediction (two-stage)

离线训练技巧

1.数据增强：增强输入图像的可变性，使检测模型具有更高的鲁棒性

包括:
A、光照处理:调整图像的亮度、对比度、色相、饱和度、噪点
B、几何处理:随机缩放、裁剪、翻转、旋转

2.对象遮挡

  • random erase , CutOut

随机选择图像中的矩形区域并填充0的随机值或者互补值

  • hide-and-seek , grid mask

随机或者均匀选择图像中的多个矩形区域并填充0

  • 对特征谱的处理

Dropout ,DropConnect , DropBlock（训练的时候用的，预测的时候禁用）

3.用多图来进行增强

MixUp用两张图
CutMix用不同角度的裁剪区域

4.GAN用于数据扩充

5.数据分布不均衡

  1. OHEM:在线困难样本挖掘
  2. S-OHEM：基于loss分布采样的在线困难样本挖掘
  3. A-FAST-RCNN：基于对抗生成网络的方式来生成困难样本
  4. FOCAL LOSS:损失函数的权重调整
  5. GHM：损失函数梯度均衡化机制

6.类别关联度

7.目标框回归函数

推断过程中增加些许成本换来较大精度提升的技巧∶

1.增加感受野

特征金字塔SPP、RFB、ASPP

2. attention

通道注意力机制SE、空间注意力机制SAM

3.特征融合

skip connection、hyper-colomn FPN

4.激活函数

Mish激活函数：

Mish优点

  • 以上无边界(即正值可以达到任何高度)避免了由于封顶而导致的饱和。理论上对负值的轻微允许允许更好的梯度流，而不是像ReLU中那样的硬零边界。
  • 平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。

在这里插入图片描述

5.后处理方式:NMS

不同特征对分类器训练的影响

类标签平滑、不同数据增强技术、双侧模糊、MixUp、CutMix和Mosaic的影响，以及不同激活的影响，如Leaky-ReLU(默认)、Swish和Mish

不同特征对检测器训练的影响

不同BoS对检测器训练的影响

PAN、RFB、SAM、高斯YOLO、ASFF

不同最小批量对检测器训练的影响

添加BoF和BoS训练策略之后，最小批量大小几乎没有影响在检测器的性能

二 论文精读

01 YOLOV4网络结构及参数计算
CSdarknet53，感受野725*725，参数27.6M，FPS超过CSResNext50以及EfficientNet-B3

  • 本文的创新点

本文创新点 一：Mosaic数据增强
1.Mosaic数据增强方法：将4张不同的图片镶嵌到一张图中
优点:
1.混合四张语义信息，让检测器检测超出规定语境的目标，增强模型鲁棒性
2.BN是从四张图片计算得到的，减少对mini-batch的依赖

在这里插入图片描述

本文创新点 二： (SAT)

本文创新点
自对抗训练Self- Adversarial-Training (SAT)
1.第一阶段，CNN通过反向传播改变图片信息，而不是改变网络权值。通过这种方式CNN可以进行对抗性攻击，改变原始图像，
造成图像上没有目标的假象
2.第二阶段，对修改后的图像进行正常的目标检测

本文创新点 三：改进的BN

BN是对当前mini-batch进行归一化。
CBN是对当前以及当前往前数3个mini batch的结果进行归一化。
而本文提出的CmBN则是仅仅在当前Batch中进行累积。

BN

  • 在minibatch维度上在每次训练iteration时因隐藏层进行归一化

缺点

  • BN的效果受batchsize影响很大，如果batchsize较小，每次训练计算的均值方差不具有代表性且不稳定，甚至使模型效果恶化
  • BN很难用在RNN这种序列模型中，且效果不好

本文创新点
CBN

  • 解决BN在小batchsize时效果不好的问题缺点

CmBN

  • 收集一个batch内多个mini-batch内的统计数据

本文创新点 四：改进的SAM

本文将Spatial-wise Attention变为Point wise Attention, modified SAM中没有使用pooling,而是直接用一个卷积得到的特
征图直接使用Sigmoid进行激活，然后对应点相乘，所以说改进后的模型是Point-wise Attention

本文创新点 五：改进的PAN

将特征融合的方法，改加法为乘法

ImageNet分类实验：

使用1080T或2080Ti GPU进行训练

超参数设定:
训练步骤为8,000,000;
批量尺寸为128
小批量尺寸为32;
采用多项式衰减学习速率调度策略
初始学习速率为0.1
热身步骤为1000;
momentum和weight衰减分别设置为0.9 ，0.005

创新点：
 - 数据增强方法
 - 自对抗训练
 - 新主干网络
 - 新BN，SAM，PAN
 - CIOU loss

三 代码实现

四 问题思索

  • 搭建darknet
*Major*
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
yolo v4 的代码-darknet-master-yolo-v4
04-24
yolo v4 的代码-darknet-master-yolo-v4 推荐下载
YOLOv4---（详解各种trick）
热门推荐
justsolow的博客
05-29 2万+
YOLOv4—（详解各种trick） 参考自（https://zhuanlan.zhihu.com/p/139764729） 前段时间大名鼎鼎的yolov4终于面世了，可是看过以后确实大失所望。不是说yolov4不好，只不过没有什么革命性的创新，相当于作者尝试了计算机视觉领域的各种花里胡哨的trick，然后给了一个最佳方案的trick组合。而且，这些东西对于实际的工业生产并没有什么用。。。。也就是落地基本不可能。 下面来仔细看一下文章中提到的各种trick。 论文地址 github 文中将前人的工作主要分
可变形卷积网络：Deformable Convolutional Networks
huangyiping12345的博客
04-29 3514
参考文献：https://arxiv.org/abs/1703.06211 代码实现：https://github.com/msracver/Deformable-ConvNets 包括理解！ Deformable Convolutional Networks 摘要 卷积神经网络（CNNs）由于其构建模块中固定的几何结构，其固有的局限性在于模型的几何变换。在这项工作中，我们引入了两个新的模块来增强...
【全文翻译】YOLOv4：目标检测的最佳速度和准确性
行云
04-24 7666
摘要 有许多功能可以提高卷积神经网络（CNN）的准确性。需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。一些功能仅在某些模型上运行，并且仅在某些问题上运行，或者仅在小规模数据集上运行； 而某些功能（例如批归一化和残差连接）适用于大多数模型，任务和数据集。我们假设此类通用功能包括加权残差连接（WRC），跨阶段部分连接（CSP），跨小批量标准化（CmBN），自...
YOLOv4真的来了！！论文翻译 --- YOLOv4: Optimal Speed and Accuracy of Object Detection
梦坠凡尘
04-26 3865
代码：https://github.com/AlexeyAB/darknet 论文：https://arxiv.org/abs/2004.10934 新鲜出炉的YOLOV4，集大成者。先看看效果对比： 由图可以看到，YOLOV4在准确度和效率上都有大幅提升，与Efficientdet相比，在相同的准确率下速度快两倍，相比YOLOv3 AP和速度有10%和12%的提升。 ...
YOLOv4/v5的创新点汇总！
qq_29462849的博客
07-07 6303
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨DarrenZhang来源丨灿视学长编辑丨极市平台导读本文详细总结了YOLOv4与YOLOv5的创新点。YOLOv4YOL...
yolo-v4-tf.keras:YOLO v4的简单tf.keras实现
05-06
yolo-v4-tf.keras YOLO v4的简单tf.keras实现 去做 余弦退火调度器 地图 镶嵌增强 DropBlock 自我对抗训练（SAT） 标签平滑 米什 IoU，GIoU，CIoU丢失 多GPU训练 快速开始 从下载官方YOLO v4预先训练的...
python毕业设计-基于YOLO-V4算法与Pytorch的视频多目标跟踪系统的开发
最新发布
11-08
<项目介绍> 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！...
darknet-yolo-v4-master.zip
12-25
yolov4，可运行yolov3权重文件。
YOLOv4 / Scaled-YOLOv4 / YOLO-用于对象检测的神经网络
05-08
YOLOv4 / Scaled-YOLOv4 / YOLO-用于对象检测的神经网络（Windows和Linux版本的Darknet）
yolov3-yolov4-matlab:yolov3-yolov4-matlab-matlab开发
05-29
该存储库使用简化和最少的代码来重现 yolov3 / yolov4 检测网络和暗网分类网络。 亮点如下： 1、支持原版暗网模式； 2、支持“* .cfg”、“* .weights”模型的训练、推理、导入导出； 3、支持最新的yolov3、yolov4型号； 4、支持暗网分类模型； 5、支持feature map大小计算、flops计算等各种指标。 这些代码可读性强，比其他框架如pytorch和tensorflow更简洁！但是不包含各种训练数据增强技巧！
YoloV4-ncnn-Jetson-Nano:适用于Jetson Nano的YoloV4
04-05
YoloV4-ncnn-Jetson-Nano 带有ncnn框架的YoloV4。 论文： : 专为Jetson Nano设计的产品，请参阅 基准。 模型 杰特逊纳米2015 MHz RPi 4 64-OS 1950兆赫 YoloV2（416x416） 10.1帧/秒 3.0帧/秒 YoloV3（352x352）微小 17.7帧/秒 4.4 FPS YoloV4（416x416）微小 11.2 FPS 3.4帧/秒 YoloV4（608x608）完整 0.7帧/秒 0.2帧/秒 YoloV5（640x640）小 4.0 FPS 1.6帧/秒 依赖关系。 2021年4月4日：改编为ncnn版本20210322 要运行该应用程序，您必须： 已安装腾讯ncnn框架。 代码：：已安装块。 （ $ sudo apt-get install codeblocks ） 安装应用程
目标检测系列视频讲解(RCNN>FastRCNN>FasterRCNN>FPN>MaskRCNN)
03-13
自己精心整理的目标检测系列视频讲解mp4,从RCNN>FastRCNN>FasterRCNN>FPN>MaskRCNN,华文讲解,很详细! 01懒人学RCNN.mp4 02懒人学FastRCNN.mp4 03懒人讲FasterRCNN之简介.mp4 04懒人学FasterRCNN之融合.mp4 05懒人讲FasterRCNN之RPN.mp4 06懒人讲FPN之引言.mp4 07懒人讲FPN之深入浅出FPN.mp4 08懒人讲FPN之FasterRCNN实践.mp4 09懒人学MaskRCNN之介绍.mp4 10懒人学MaskRCNN之RoIAlign.mp4 11懒人学MaskRCNN之画龙点睛.mp4 12懒人学MaskRCNN之Architecture.mp4 13懒人学MaskRCNN之Architecture&画龙点睛.mp4 14懒人学Focal Loss.mp4
yolov4-tiny.conv.29
07-15
tiny yoloV4的预训练权重 yolov4-tiny.conv.29 tiny比较小，速度非常快，结合opencv可以实时检测。效果相当的棒。
基于yolov4深度学习网络目标检测识别matlab仿真+代码仿真操作视频
07-05
1.领域：matlab，yolov4 2.内容：基于yolov4深度学习网络目标检测识别matlab仿真+代码仿真操作视频 3.用处：用于目标检测识别编程学习 4.指向人群：本硕博等教研学习使用 5.运行注意事项： 使用matlab2021a或者更高版本测试，运行里面的Runme_.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口必须是当前工程所在路径。 具体可观看提供的操作录像视频跟着操作。
目标检测之Yolov4
AndyJ的学习之旅
07-26 1万+
从2018年Yolov3年提出的两年后，在原作者声名放弃更新Yolo算法后，俄罗斯的Alexey大神扛起了Yolov4的大旗。（2020年提出） Yolov4: Optimal Speed and Accuracy of Object Detection 参考链接 YOLOV 3 回顾 Yolov3是2018年发明提出的，这成为了目标检测one-stage中非常经典的算法，包含Darknet-53网络结构、anchor锚框、FPN等非常优秀的结构。 网络结构可视化 基本组件 上图三个蓝色方框内表示Yolo
Deformable Convolution 关于可变形卷积
Bruce_0712的博客
10-09 1209
Abstract 如何有效地对几何图形的变化进行建模一直是一个挑战，大体上有两种处理方法：（1）构建一个包含各种变化的数据集，其本质是数据扩增（2）使用具有形变不变性的特征和算法（如SIFT）。这两种方法都有很大的局限性：几何形变被假设是固定和已知的，这是一种先验信息，用这些已知的形变去处理未知的形变是不合理的；手工设计的特征或算法无法应对过度复杂的形变，即使该形变是已知的。近年来，CNNs在计算机视觉领域取得了飞速的发展和进步，在图像分类，语义分割，目标检测领域都有很好的应用。然后鉴于CNNs固定的几何结
可变形卷积系列(三) Deformable Kernels，创意满满的可变形卷积核 | ICLR 2020
晓飞的算法工程笔记
04-16 3187
论文提出可变形卷积核(DK)来自适应有效感受域，每次进行卷积操作时都从原卷积中采样出新卷积，是一种新颖的可变形卷积的形式，从实验来看，是之前方法的一种有力的补充。   来源：晓飞的算法工程笔记 公众号 论文: Deformable Kernels: Adapting Effective Receptive Fields for Object Deformation 论文地址：https:/...
YOLOv4 Optimal Speed and Accuracy of Object Detection
weixin_37958272的博客
08-19 505
YOLOv4: Optimal Speed and Accuracy of Object Detection 有大量的特征据说可以提高卷积神经网络(CNN)的准确性.需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论上的论证.有些特征只对某些模型和某些问题进行专门的操作，或者只对小规模的数据集进行操作；而有些特征，如batch-normalization和residual-connections，适用于大多数模型、任务和数据集。我们假设这样的通用特征包括Weighted-Residual-Co
yolo-v4_tiny人工智能平台
09-15
yolo-v4_tiny是一种人工智能平台，它的全称是You Only Look Once Version 4 Tiny。作为一种目标检测算法，yolo-v4_tiny可以在图像或视频中实时识别和定位多个物体。 yolo-v4_tiny采用轻量级网络结构，相对于传统的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值