【YOLOv8改进 - 卷积Conv】DCNv3: 可变形卷积,结合稀疏注意力机制与卷积的创新算子

YOLOv8目标检测创新改进与实战案例专栏

专栏目录: YOLOv8有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

image-20240725100945813

摘要

与近年来大规模视觉Transformer (ViTs) 的巨大进步相比,基于卷积神经网络 (CNNs) 的大规模模型仍处于早期阶段。本工作提出了一种新的大规模基于CNN的基础模型,称为InternImage,它能够像ViTs一样,通过增加参数和训练数据来获得提升。与最近关注大密度卷积核的CNNs不同,InternImage以可变形卷积作为核心运算符,因此我们的模型不仅具有下游任务(如检测和分割)所需的大有效感受野,还具有根据输入和任务信息自适应的空间聚合能力。结果是,所提出的InternImage减少了传统CNNs的严格归纳偏差,使其能够从大规模参数和海量数据中学习更强大、更鲁棒的模式,类似于ViTs。我们模型的有效性在包括ImageNet、COCO和ADE20K在内的挑战性基准上得到了验证。值得一提的是,InternImage-H在COCO test-dev上达到了新的记录65.4 mAP,在ADE20K上达到了62.9 mIoU,超越了当前领先的CNNs和ViTs。

文章链接

论文地址:论文地址

代码地址:代码地址

基本原理

  1. 借鉴了可分离卷积的思想,将原始卷积权重 w k w_k w
  • 24
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
YOLOv8是一种目标检测模型,它在卷积层中使用了可变形卷积(Deformable Convolution,简称DCN)。可变形卷积是一种可以自适应调整卷积核形状的卷积操作,它能够更好地适应不同尺度和形状的目标。 传统的矩形卷积在特征图的特定位置进行特征学习和下采样,但在同一特征层的不同位置对应的是不同尺度和形状的目标,这导致了目标检测的一定局限性。可变形卷积则通过引入不规则的卷积核,提供了更大的灵活性和自适应性。它可以根据对象的比例和形状自动调整卷积核,从而更好地捕捉目标的特征。 对于YOLOv8,它使用了可变形卷积来扩大特征图的感受野,并提高模型对物体变形的模拟能力。通过引入可变形卷积YOLOv8能够更好地提取特征并提高模型的识别能力,尤其在对小目标的检测效果方面表现较好。 需要注意的是,YOLOv8中的卷积层通常使用conv2D卷积、BN归一化和Silu激活函数。通过将卷积层的卷积改为可变形卷积YOLOv8能够更好地处理目标检测任务。可变形卷积的引入使得YOLOv8目标检测中具有更强的性能和适应性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [【YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进NO.57】引入可形变卷积](https://blog.csdn.net/m0_70388905/article/details/129401640)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Keras-YOLOv4:yolov4 42.0%mAP.ppyolo 45.1%mAP](https://download.csdn.net/download/weixin_42118423/15917963)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [YOLOv8添加DCNv3变形卷积](https://blog.csdn.net/weixin_70423469/article/details/131702564)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO大师

你的打赏,我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值