YOLOv8改进 | Conv篇 | 2024.1月最新成果可变形卷积DCNv4（适用检测、Seg、分类、Pose、OBB）

已于 2024-01-23 03:23:09 修改
阅读量7.3k 收藏 38
点赞数 36
分类专栏： YOLOv8有效涨点专栏 文章标签： 深度学习 人工智能 YOLO 目标检测 计算机视觉 python pytorch
于 2024-01-22 06:54:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java1314777/article/details/135708762
版权

一、本文介绍

本文给大家带来的改进机制是2024-1月的最新成果DCNv4，其是DCNv3的升级版本，效果可以说是在目前的卷积中名列前茅了，同时该卷积具有轻量化的效果！一个DCNv4参数量下降越15Wparameters左右，。它主要通过两个方面对前一版本DCNv3进行改进：首先，它移除了空间聚合中的softmax归一化，这样做增强了其动态特性和表达能力；其次，它优化了内存访问过程，以减少冗余操作，从而加快处理速度。DCNv4的表现可以说是非常的全面，同时该网络为新发目前存在大量使用Bug我均已修复。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。欢迎大家订阅我的专栏一起学习YOLO！

专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备      

目录

一、本文介绍

二、DCNv4原理

2.1 DCNv4的基本原理

2.2 动态特性增强

2.3 内存访问优化

三、DCNv4的核心代码 

3.1 DCNv4的核心代码

3.2 C2f_DCNv4代码

四、手把手教你使用DCNv4

4.1 修改一 

4.2 修改二

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七 

五、C2f_DCNv4的yaml文件和运行记录

5.1 C2f_DCNv4的yaml文件一

5.2 C2f_DCNv4的yaml文件二

了解本专栏 订阅专栏 解锁全文
Snu77
关注
  • 36
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 33
    评论
专栏目录
订阅专栏
【YOLOv8改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 543
【YOLOv8改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
YOLOv8原创改进：原创自研 | CVPR2024 DCNv4结合YOLOv9 SPPELAN二次创新
03-09 939
CVPR2024 DCNv4结合YOLOv9 SPPELAN二次创新
YOLOv8算法改进【NO.99】引入最新发布Deformable Convolution v4 (DCNv4)
m0_70388905的博客
01-20 2433
引入2024年最新发布Deformable Convolution v4 (DCNv4)
YOLOv10实战：新一代高效可形变卷积DCNv4如何做二次创新？高效结合SPPF | NEU-DET为案列进行展开
最新发布
06-07 887
DCNv4结合SPPF二次创新在NEU-DET案列进行可行性验证，1）mAP50从0.683提升至0.7
小白快速部署DCNv4最好的教程
小kepur的成长
03-14 2326
这篇文章就简单梳理一下部署DCNv4可能会遇到的问题。搭建环境：总结起来就是，相对来说在ubuntu上面成功率更高，在WIN上面，主要是安装的时候与gcc版本有关系，与VS版本有关系，依赖的东西太多了，建议在ubuntu安装，如果有需要可以联系我。稍后更新解决方案DCNv4细节部分这里就不说了，大家可以多搜搜其他文章有很多原理介绍，后续会不断地更新部署的问题，有需要快速安装的可以联系我这边@V+sbj13246578 一起学习进步哈，成为大牛。
可变形卷积v4 |更快更强，效果远超DCNv3
深度学习炼丹师，偶尔分享炼丹技术!
03-15 1814
我们介绍了可变形卷积v4 (DCNv4)，这是一种高效的算子，专为广泛的视觉应用而设计。DCNv4通过两个关键增强解决了其前身DCNv3的局限性:去除空间聚合中的softmax归一化，增强空间聚合的动态性和表现力;优化内存访问以最小化冗余操作以提高速度。与DCNv3相比，这些改进显著加快了收敛速度，并大幅提高了处理速度，其中DCNv4的转发速度是DCNv3的三倍以上。DCNv4在各种任务中表现出卓越的性能，包括图像分类、实例和语义分割，尤其是图像生成。
DCNv4:对视觉应用的动态和稀疏算子的重新思考
m0_47867638的博客
01-16 1329
在计算机视觉领域，关于卷积网络（ConvNets）和Transformer哪个性能更优越的争论一直在进行。近年来，具有注意力机制的大型视觉模型中的Transformer模型[12、25、44]取得了显著成果，显示出超越ConvNets的潜力。然而，诸如InternImage [38]和ConvNeXt [26]等最新研究工作表明，基于ConvNet的视觉模型在各种下游任务中仍保持稳健的性能、效率和简单性，并具有适当的归纳偏差[15、41]。值得注意的是，在图像生成等领域[29、31]，卷积仍然是首选方法。
Deformable Convolution v4 (DCNv4)
whaosoft143ai的博客
01-16 2860
第二，受到卷积无限权重范围启发，作者发现空间聚合中的softmax归一化在密集注意力中是标准操作，但在DCNv3中是不必要的，因为每个位置都有专用的聚合窗口，不是所有聚合运算都需要softmax归一化。训练模型24个epoch。然而，在作者的原始DCNv3实现中，使用半精度数据并未看到速度提升，这可能是由于数据访问和计算上的开销太大，而在作者的新实现中，速度提升显著。令人惊讶的是，在没有任何超参数调整的情况下，这些精心设计的网络在DCNv4下表现得一样好，而且更快，展示了动态稀疏DCNv4的有效性和效率。
【可变形卷积1】可变形卷积pytorch版本解读
Hali_Botebie的博客
08-17 610
可变形卷积在网络结构书写时，需要经过以下两步。
[CVPR2019]:最新高效卷积方式HetConv
急流勇进
03-26 2363
原文链接：https://zhuanlan.zhihu.com/p/59075508 最近放出来了一篇CVPR2019论文，文章提出了一种新的高效卷积方式：HetConv，在CIFAR10、ImageNet等数据集超过了标准卷积以及DW+PW的高效卷积组合形式，取得了更高的分类性能。论文链接：https://arxiv.org/abs/1903.04120【Motivation】目前提高CNN性能...
DCNv4：对视觉应用的动态和稀疏算子的重新思考
AI浩
01-27 2235
在计算机视觉领域，关于卷积网络（ConvNets）和Transformer哪个性能更优越的争论一直在进行。近年来，具有注意力机制的大型视觉模型中的Transformer模型[12、25、44]取得了显著成果，显示出超越ConvNets的潜力。然而，诸如InternImage [38]和ConvNeXt [26]等最新研究工作表明，基于ConvNet的视觉模型在各种下游任务中仍保持稳健的性能、效率和简单性，并具有适当的归纳偏差[15、41]。值得注意的是，在图像生成等领域[29、31]，卷积仍然是首选方法。
Deformable-Convolution-V2-PyTorch:PyTorch中的可变形ConvNets V2（DCNv2）
04-13
PyTorch中的Deformable-ConvNets-V2 此存储库是的实现。 从原始移植。 有关完整框架，请参考此。 在可以找到基于mmdetection代码库的DCNv2的结果。 非常感谢强大而干净的框架。 master分支中的运算符与pytorch_v0.4.1兼容。 对于pytorch v1.0.0（由Jiajiai 实现）上的运算符，请参阅。 多亏了和mmlab的其他贡献者，DCNv2现在已基于该分支的主分支纳入正式的mmdetection回购中。 现在，它是使用新的cpp扩展api编写的，并且支持PyTorch 0.4.1和1.0，但速度和内存优化较小。 结果和模型可以在找到。 建造 sh make.sh 有关用法示例，请参见test.py和test_modulated.py 。 注意 此仓库提供了可变形的conv层，该层可在Deformable ConvNets
darknet版YOLOv4官方权重文件yolov4-tiny.conv.29
02-27
darknet版YOLOv4官方权重文件，包括： 1、yolov4.weights 2、yolov4.conv.137 3、yolov4-tiny.conv.29 4、yolov4.conv.137.pth 5、yolo4_weights.pth
训练用的yolov4.conv.137.7z
12-06
在计算机视觉领域，YOLO（You Only Look Once）是一种快速且准确的目标检测算法，其最新版本YOLOv4因其出色的性能和高效的速度，备受开发者和研究者的关注。本文将深入探讨YOLOv4的核心组成部分——预训练权重文件`...
yolov4-tiny.conv.29
07-15
tiny yoloV4的预训练权重 yolov4-tiny.conv.29 tiny比较小，速度非常快，结合opencv可以实时检测。效果相当的棒。
yolov4.conv.137
06-24
yolo V4 训练所需要的模型，国内很多同学无法访问，这里免费给大家使用。有问题大家随时发消息评论，看到就给回复，训练参考：https://blog.csdn.net/weixin_38353277/article/details/105841023
YOLOv8全网首发：DCNv4更快收敛、更高速度、更高性能，效果秒杀DCNv3、DCNv2等 ，助力检测
01-18 3201
DCNv4更快收敛、更高速度、更高性能，完美和YOLOv8结合，助力涨点
（Windows）YOLOv8成功运行DCNv4报错总结
weixin_57112913的博客
03-25 3852
DCNv4是可变形卷积的第四版本也是今年2024年1月份公示的，其在网络结构上和DCNv3是差不多的，最突出的优点的减小了内存访问带来的负担，加快收敛的速度，在不失精度的情况下能把速度大幅度提升，在论文作者的实验里面不对DCNv4做任何的处理，仅仅是将其替换原本DCNv3，速度提升了80%。
DCNv4,高效可变形卷积
qq_45371200的博客
01-19 2968
此外，DCNv4还成功地整合到了包括ConvNeXt、ViT在内的多种现代主干网络结构中，并在图像生成任务中展现出超越基线模型的能力，显示了其作为通用视觉运算符的巨大潜力。文章指出尽管Deformable Convolution v3 (DCNv3) 结合了稀疏注意力机制与卷积操作，在处理具有局部性、动态采样点以及输入依赖权重的空间特征聚合方面表现出色，但其运行速度较慢且在训练初期收敛速度不如全局注意力机制，这限制了其在视觉主干模型中的广泛应用。这一改变增强了DCNv4的动态特性并提高了性能表现。
yolov8可变形卷积
08-23
YOLOv8是一种目标检测模型，它在卷积层中使用了可变形卷积（Deformable Convolution，简称DCN）。可变形卷积是一种可以自适应调整卷积核形状的卷积操作，它能够更好地适应不同尺度和形状的目标。 传统的矩形卷积在特征图的特定位置进行特征学习和下采样，但在同一特征层的不同位置对应的是不同尺度和形状的目标，这导致了目标检测的一定局限性。可变形卷积则通过引入不规则的卷积核，提供了更大的灵活性和自适应性。它可以根据对象的比例和形状自动调整卷积核，从而更好地捕捉目标的特征。 对于YOLOv8，它使用了可变形卷积来扩大特征图的感受野，并提高模型对物体变形的模拟能力。通过引入可变形卷积，YOLOv8能够更好地提取特征并提高模型的识别能力，尤其在对小目标的检测效果方面表现较好。 需要注意的是，YOLOv8中的卷积层通常使用conv2D卷积、BN归一化和Silu激活函数。通过将卷积层的卷积改为可变形卷积，YOLOv8能够更好地处理目标检测任务。可变形卷积的引入使得YOLOv8在目标检测中具有更强的性能和适应性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [【YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进NO.57】引入可形变卷积](https://blog.csdn.net/m0_70388905/article/details/129401640)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Keras-YOLOv4:yolov4 42.0％mAP.ppyolo 45.1％mAP](https://download.csdn.net/download/weixin_42118423/15917963)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [YOLOv8添加DCNv3可变形卷积](https://blog.csdn.net/weixin_70423469/article/details/131702564)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 33
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值