从YoLov3到Scaled-YoLov4

最新推荐文章于 2024-08-06 16:18:03 发布
最新推荐文章于 2024-08-06 16:18:03 发布
阅读量2.6k 收藏 36
点赞数 6
文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38420127/article/details/109956275
版权

从YoLov3到Scaled-YoLov4

参考视频：
Pytorch 搭建自己的YoloV4目标检测平台
yolo系列理论合集
YOLOv4-理论
YoLov4和Scaled-YoLov4代码github：
Pytorch YoLoV4 and Scaled-YoLoV4

YOLOv3：
在这里插入图片描述

  1. Backbone：DarkNet53
    在这里插入图片描述
    取消了pooling层，改用卷积核步长进行降采样(可解释深度没有ResNet深，但效果却更好)

  2. 利用多尺度特征进行目标检测(采用SSD中anchor的思想)
    在这里插入图片描述
    在这里插入图片描述

  3. 类别损失采用logistic代替softmax

即采用二值交叉熵损失，每张图预测的类别概率是独立的，而softmax得到的类别概率和为1

  1. 训练时用multi-scale方法做数据增强
    在这里插入图片描述

YOLOv4：
在这里插入图片描述

  • Backbone：CSP-DarkNet53

    ·CSP：CSPNet可以减少计算量，同时提高推理速度和准确性。
    在这里插入图片描述
    上图红色框与YoLov3对应，以第二个残差块为例，可以看到卷积核参数量减少了：
    在这里插入图片描述

  • SPP：实现不同尺度的特征融合(YoloV3-SPP版本因为这个结构，比yolov3精度mAP提升了3个点，经实验，这个结构使用一次就够了)。
    在这里插入图片描述

  • PANet：coco2017挑战赛中实例分割任务第一名，物体检测第二名。
    ·思想：一般来说高层的特征语义信息丰富，低层的定位信息丰富，PANet在FPN的基础上，再添加一个自底向上的金字塔结构，将低层的强定位特征传递上去。YOLOV3只有(a)的结构，YOLOV4添加了(b)，融合了低层的定位信息，对于grid尺寸较小(13x13)情况，也可以得到比较精确的定位信息。
    在这里插入图片描述

  • 激活函数采用Mish：Mish=x × tanh(ln(1+e^x))
    在这里插入图片描述

  • Loss：损失采用CIOU损失
    YOLOv3的定位损失是L2损失，即求边界框真实值与预测值差的平方和，这里的值指的是预测得到的每个框的中心坐标x和y的偏移量，以及宽高。
    YOLOv4采用的是CIOU损失：
    IOU：交并比，可以用来评价输出框（predict box）和ground-truth的距离。
    在这里插入图片描述
    缺点是如果两个框没有相交，根据定义，IoU=0，不能反映两者的距离大小（重合度）。同时因为loss=0，没有梯度回传，无法进行学习训练。此外IoU无法精确的反映两者的重合度大小。如下图所示，三种情况IoU都相等。
    在这里插入图片描述
    CIOU将目标与anchor之间的中心点距离(d2/c2)，重叠率(IOU)、长宽比(av)都考虑了进去
    在这里插入图片描述

  • Tricks

  • 训练时可采用Mosaic或MixCut数据增强方法。Mosaic将4张图片拼接，根据论文所说其拥有一个巨大的优点是丰富检测物体的背景！且在BN计算的时候一下子会计算四张图片的数据！MixCut将图像的一部分剪切下来再粘贴到另一张图像上。

  • 采用dropblock代替dropout。在dropblock论文中提到dropout(在训练时每一层随机按概率失活神经元以防止过拟合)被广泛地用作全连接层的正则化技术，但是对于卷积层，通常不太有效。因为卷积层的特征在空间上是相关的。当这些特性相互关联时，即使有dropout，有关输入的信息仍然可以发送到下一层，因此，针对卷积网络，需要一种结构形式的dropout来正则化，即按块来丢弃。
    在这里插入图片描述
    通过dropblock掉整片的区域(比如头和脚)，网络就会去注重学习狗的别的部位的特征，来实现正确的分类，从而表现出更好的泛化。

  • label smoothing：也是一种正则化策略。对于分类问题，我们通常认为训练数据中标签向量的目标类别概率应为1，非目标类别概率应为0。Label smoothing将目标概率根据均匀分布做一更新[0,0,1]–>[0.01,0.01,0.98] 标签平滑后的分布就相当于往真实分布中加入了噪声，避免模型对于正确标签过于自信，使得预测正负样本的输出值差别不那么大，从而避免过拟合，提高模型的泛化能力。

  • Cosine annealing LR(余弦退火调整学习率，学习率呈余弦函数型衰减)

  • 使用遗传算法进行超参数的选择。举个例子，如果我们随机选择 100 组超参数。然后使用它们训练 100 个模型。之后，我们从中选出表现最好的 10个模型。对于每个被选中的模型，都根据原始版本创建 10个超参数略有不同的变体版本。再使用这些新的超参数重新训练模型，再次选出其中表现最好的。随着我们不断迭代，我们应该可以找到超参数的最佳集合。

  • ······
    在这里插入图片描述

Scaled-YOLOv4

  1. Backbone(yolov4-csp)：根据文章分析，当k大于1时，CSPNet才会比DarkNet计算量更少，因此，对于YoLov4的第一个CSPDarkNet层，将其改回为原来的DarkNet层。
    在这里插入图片描述

  2. PAN & SPP：将原来的PAN也CSP化。仍然将SPP插入到第一组CSPPAN中，这一步可减少40%的计算量。
    在这里插入图片描述
    其中scpize-conv(自己起的名字) 相比于YoLov4中的convx5结构比较如下：
    在这里插入图片描述

  3. YoLoV4-tiny:

  • 对于低端设备，设计模型的推理速度不仅受到计算量和模型大小的影响，更重要的是必须考虑外围硬件资源的限制。作者借鉴的是VovNet(摘自摘要：ResNet是目标检测模型最常用的backbone，DenseNet其实比ResNet提取特征能力更强，而且其参数更少，计算量FLOPs也更少，用于目标检测虽然效果好，但是速度较慢，这主要是因为DenseNet中密集连接所导致的高内存访问成本和能耗。VoVNet就是为了解决DenseNet这一问题，基于VoVNet的目标检测模型性能超越基于DenseNet的模型，速度也更快，相比ResNet也是性能更好) OSA只在最后一次性聚合前面所有的layer。这一改动将会解决DenseNet的问题，因为每个layer的输入channel数是固定的，这里可以让输出channel数和输入一致而取得最小的MAC。

在这里插入图片描述

  • 提出一种梯度截断的思想应用在CSPOSANet中，以得到最佳的计算速度。

  • 在评估低端设备的计算成本时，还必须考虑功耗，影响功耗的最大因素是内存访问成本(MAC)。通常一个卷积运算的MAC计算方法如下：
    在这里插入图片描述
    通过计算几何不等式，可以推导出Cin = Cout时的最小MAC。

  • 最小化卷积输入输出通道数(CIO)，经计算当kg > b/2, CSPOSANet可以获得最佳CIO。

  • YoLoV4-tiny结构（融合了CSP与OSA，输出借用了YoLoV3-tiny，激活采用leakyRelu）：

在这里插入图片描述

在这里插入图片描述

  1. YoLoV4-large:
  • YOLOv4-large is designed for cloud GPU, the main purpose is to achieve high accuracy for object detection. We designed a fully CSP-ized model YOLOv4-P5 and scaling it up to YOLOv4-P6 and YOLOv4-P7.
  • 更好地预测物体大小的能力基本上取决于特征向量的感受野。在CNN的架构中，与感受野最直接相关的是stage，feature pyramid network(FPN)的架构告诉我们，更高的stage更适合预测大的物体。这里的stage感觉应该和深度的意思差不多。
  • Our experiments show that YOLOv4-P6 can reach real-time performance at 30fps video when the width scaling factor is equal to 1. For YOLOv4-P7, it can reach real-time performance at 15 fps video when the width scaling factor is equal to 1.25.
    在这里插入图片描述
  • 在yolov4-P5的代码中可以看到它是从yolov4-csp继承而来：
    在backbone部分，将原来的[1,2,8,8,4]CSPDarkNet53的尺寸改为[1,3,15,15,7]

在这里插入图片描述
在PAN部分基本不变，只不过在原来的cspize-convs中也加入了残差结构
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • Result

  • YoLov4-tiny：
    在这里插入图片描述
    此外，在不同GPU上，YoLov4-tiny的速度都很快，另外，如果在GPU RTX2080Ti上使用TensorRT FP16来跑的话，batch size为1或4的情况下，FPS可达到773或1774.
    在这里插入图片描述

  • YoLov4-large：

在这里插入图片描述
此外，作者还验证了这种FPN-Like的架构是一个简单的once-for-all模型。
在这里插入图片描述
蓝色曲线表示在训练好的P7模型中移除P7阶段，黄色代表在训练好的P7模型中移除P7和P6阶段。可以看到，可以发现YOLOv4-P7在高分辨率下的AP最好，而YOLOv4-P7\P7和YOLOv4-P7\P7\P6在中、低分辨率下的AP最好。这意味着我们可以使用FPN-like模型的子网络来很好地执行目标检测任务。
最后再附一张结果图
在这里插入图片描述

目前研一小白，第一次发博，紧紧张张，如有问题，欢迎交流。

sasig@y
关注
万字长文解析Scaled YOLOv4模型(YOLO变体模型)
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
10-25 1396
Scaled YOLOv4 模型最主要的贡献在于通过理论系统分析和实验证了模型缩放的原则，进一步拓展了 CSPNet 方法，并基于此设计了一个全新的 Scaled-YOLOv4，Scaled-YOLOv4 网络的卷积模块都有使用 CSP。总的感觉就是针对不同的 GPU 平台，根据作者分析出来的模型缩放理论，且符合一些原则的情况下，选择不同的模型宽度和深度参数，并让模型更深更宽。
YOLOv4
zyflhh1314的博客
05-02 532
YOLOv4已在上周千呼万唤始出来。YOLO之父Jeseph Redmon在今年2月已宣布退出CV学术界，大家都以为YOLO系列已不再更新了，幸而，学术界和开源社区的力量是强大的。另一位曾经参与YOLO项目维护的大神Alexey Bochkovskiy接过了YOLO这面大旗，在arXiv上提交了YOLO v4，而且，这篇论文已经被拉入原来YOLO之父建立的项目主线。 YOLOv4：目标检测的最优速...
ScaledYOLOv4
03-11
缩放YOLOv4 这是“ ”的实现。 引文 @article{wang2020scaled, title={{Scaled-YOLOv4}: Scaling Cross Stage Partial Network}, author={Wang, Chien-Yao and Bochkovskiy, Alexey and Liao, Hong-Yuan Mark}, journal={arXiv preprint arXiv:2011.08036}, year={2020} }
YOLO系列目标检测算法-Scaled-YOLOv4
AI-Mei的博客
09-21 2123
本文介绍YOLO系列文章之Scaled YOLOv4。Scaled YOLOv4中提出一种网络缩放技术，使得YOLOv4可以上下伸缩，以适用于大型/小型模型。将CSP应用到各式CNN中，可以减少参数和计算量，提高准确性，减少推理时间，因此CSP化了Backbone、neck和SPP；分别分析了对于低端设备和高端设备对模型缩放的研究；使用不同的技术设计了小型、大型模型，都取得了优异的性能。
目标检测 | yolov4 原理和介绍
最新发布
hhl_work的博客
08-06 1401
YOLOv4是一种高效且准确的目标检测模型，它在YOLOv3的基础上引入了多项改进，这些改进主要集中在网络结构的优化和训练技巧的更新上。论文链接：https://arxiv.org/abs/2004.10934时间：2020年作者：Alexey Bochkovskiy代码参考：https://github.com/Tianxiaomo/pytorch-YOLOv4大量的特征据说可以提高卷积神经网络(CNN)的精度。需要在大数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。
ScaledYOLOv4-yolov4-large实践.zip
01-01
ScaledYoloV4实践 https://wanghao.blog.csdn.net/article/details/112073471，代码和数据集
【Scaled-YOLOv4】
咖啡味儿的咖啡
12-25 1191
COCO数据集AP被刷到了55.4%（FPS=15），核心是在YOLOV4上研究模型缩放（model scaling）技术。台湾同胞的论文，写的有点拗口就不直译了。。 Abstract 我们证明了使用CSP方法的YOLOv4目标检测网络在向下或者向上缩放时可以保持最优的速度和精度。我们提出了一种模型缩放方法，它不止是可以修改模型的深度、宽度、分辨率，也可以修改模型的结构。YOLOv4- large把coco刷到了55.4%（FPS=15，Tesla V100） 1. Introduction 模..
YOLOv4 / Scaled-YOLOv4 / YOLO-用于对象检测的神经网络
05-08
5. **下载预训练模型**：从YOLO的官方仓库或其他可信来源获取预训练的YOLOv4或Scaled-YOLOv4权重文件。 6. **运行检测**：使用`./darknet detector test`命令进行测试，指定配置文件、权重文件和输入图像。 通过...
OpenVINO-YOLOV4:这是OpenVINO2021.3中YOLOv4，YOLOv4-relu，YOLOv4-tiny，YOLOv4-tiny-3l，Scaled-YOLOv4的实现
05-13
打开VINO-YOLOV4 介绍 这是完整实现。 基于 支持机型 YOLOv4 YOLOv4-relu YOLOv4-tiny 支援的装置 英特尔CPU 英特尔GPU HDDL VPU NCS2 …… 支持的推理演示 Python演示：所有模型 C ++演示：YOLOv4，YOLOv...
darknet：YOLOv4v Scaled-YOLOv4-用于对象检测的神经网络（Windows和Linux版本的Darknet）
02-04
适用于Windows和Linux的Yolo v4，v3和v2 （用于物体检测的神经网络） 纸YOLO v4： ： Paper Scaled ： ： 用于重现结果... tkDNN-TensorRT将批次1的YOLOv4加速约2倍，将批次4的YOLOv4加速3倍至4倍。 tkDNN： ： Op
ScaledYOLOv4:Scaled-YOLOv4训练自己的数据集详细教程PDF，关于paper解读请联系小编获取PDF文档
05-08
训练自己的数据集 感谢 大佬的开源！！！ DataXujing 我们以训练YOLOv4-P7为例，介绍如何基于Scaled YOLOv4训练自己的数据集 0.环境配置 python3.7 cuda 10.2 pytorch==1.6.0 torchvision==0.7.0 # mish-cuda # 使用预训练的模型 git clone https://github.com/thomasbrandon/mish-cuda mc cd mc # change all of name which is mish_cuda to mish_mish and build. # 1. mc/src/mish_cuda -> mc/src/mish_mish # 2. mc/csrc/mish_cuda.cpp -> mc/csrc/mish_mish.cpp # 3. in mc/setup.p
start-scaled-yolov4:开始缩放 YOLOv4
05-29
Start Scaled YOLOv4 Scaled-YOLOv4 代码: 论文: 文章: 环境准备 基础环境 Nvidia 显卡的主机 Ubuntu 18.04 系统安装，可见 Nvidia Driver 驱动安装，可见 开发环境 下载并安装 ,之后于 Terminal 执行： # 创建 Python 虚拟环境 conda create -n scaled-yolov4 python=3.8 -y conda activate scaled-yolov4 # 安装 PyTorch with CUDA conda install pytorch==1.7.1 torchvision==0.8.2 cudatoolkit=10.2 -c pytorch -y 注意： pytorch 等版本请对照表 cudatoolkit 版本请对照表 conda 下载过慢，可尝试配置国内镜像源 下载 ，
YOLOv1、YOLOv2、 YOLOv3、SSD DSSD 单阶段目标检测论文
10-11
YOLO是Joseph Redmon和Ali Farhadi等人于2015年提出的第一个基于单个神经网络的目标检测系统。Joseph Redmon和Ali Farhadi发表的YOLO 2进一步提高了检测的精度和速度。
scaled-yolov4模型结构对比
yunxinan的专栏
11-23 1398
Scaled-YOLOv4:CSP网络的缩放
kobayashi_的博客
11-22 6974
Scaled-YOLOv4: Scaling Cross Stage Partial Network 原文： https://arxiv.org/pdf/2011.08036v1.pdf 项目地址： https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-csp 网络结构在第四节⭐️ 文章目录Scaled-YOLOv4: Scaling Cross Stage Partial Network0.Abstract1.Introduction2.Rela
Scaled-YOLOv4 简单学习笔记
dujuancao11的博客
08-18 1414
参考链接： 全文翻译【Scaled-YOLOv4: Scaling Cross Stage Partial Netw】_聪明的小菠菜-CSDN博客 论文阅读笔记 之 YOLOv4 & scaled YOLOv4_流觞时光的博客-CSDN博客_scaled yolov4 这篇看着还好点，看原文有点头大 https://blog.csdn.net/kobayashi_/article/details/109960073 Scaled-YOLOv4:CSP网络的缩放 以下仅仅是自己注意到..
Scaled-YOLOv4来了！55.8% AP！速度高达1774 FPS！Scaled-YOLOv4: Scaling Cross Stage Partial Network
阿木寺的博客
11-17 1506
YOLOv4 官方改进版来了！55.8% AP！Scaled-YOLOv4：扩展跨阶段局部网络 注：文末附目标检测微信交流群 Scaled-YOLOv4: Scaling Cross Stage Partial Network 作者单位：YOLOv4原班人马（Chien-Yao Wang、AlexeyAB等人） PyTorch代码：https://github.com/WongKinYiu/ScaledYOLOv4 darknet代码：https://github.com/AlexeyAB/darkne
Scaled-YOLOv4: Scaling Cross Stage Partial Network
qq_52302919的博客
03-07 1458
本文的贡献： （1）针对小模型设计了一种强大的模型缩放方法，该方法可以系统地平衡浅层CNN的计算成本和存储带宽； （2） 设计一个简单但有效的策略来缩放大型目标探测器； （3） 分析所有模型缩放因子之间的关系，然后根据最有利的组划分进行模型缩放；
scaled-yolov4: scaling cross stage partial network
03-16
scaled-yolov4是一种基于YoloV4的目标检测算法，它引入了scaling cross stage partial network的概念。这个概念指的是将网络分成多个阶段，每个阶段都有自己的特征图，然后将这些特征图进行缩放和合并，以提高检测...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值