YOLOv7改进实战（2） | 添加可变形卷积Deformable Convolution v2篇

已于 2023-10-17 15:55:51 修改
阅读量2.5k 收藏 49
点赞数 5
分类专栏： YOLOv7改进实战 文章标签： YOLO 人工智能 计算机视觉
于 2023-09-23 19:19:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45062768/article/details/133205299
版权
文章介绍了在YOLOv7的Backbone和Neck部分引入可变形卷积（DCNv2）以及ELAN-DCN的实践，展示了如何通过DCNv2改进特征提取，特别是对位置信息的处理，以及在保持Flops不变的情况下提升模型性能。实验表明，逐步从最后一层开始添加DCN模块可以找到适合特定数据集的最佳优化策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

目录

一、可变形卷积

可变形卷积指卷积核在每个元素上增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围
在这里插入图片描述（a）传统的标准卷积核，尺寸为3x3（图中绿色的点）；
（b）可变形卷积，通过在图（a）的基础上给每个卷积核的参数添加一个方向向量（图b中的浅蓝色箭头），使卷积核变为任意形状；
（c）和（d）是可变形卷积的特殊形式。

卷积核的目的是为了提取输入物的特征。传统的卷积核通常是固定尺寸、固定大小的。这种卷积核存在的最大问题就是，对于未知的变化适应性差，泛化能力差。

  • 卷积单元对输入的特征图在固定的位置进行采样；
  • 池化层不断减小着特征图的尺寸；
  • RoI 池化层产生空间位置受限的 RoI。

网络内部缺乏能够解决这些问题的模块，这会产生显著的问题，同一 CNN 层的激活单元的感受野尺寸都相同，这对于编码位置信息的浅层神经网络并不可取，因为不同的位置可能对应有不同尺度或者不同形变的物体，这些层需要能够自动调整尺度或者感受野的方法。再比如，目标检测虽然效果很好但是都依赖于基于特征提取的边界框，这并不是最优的方法，尤其是对于非网格状的物体而言。

因此，希望卷积核可以根据实际情况调整本身的形状，更好的提取输入的特征。

DCNv2代码实现

在这里插入图片描述
将下述代码添加到models/common.py文件中

class DCNv2(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size, stride=1,
                 padding=1, groups=1, act=True, dilation=1, deformable_groups=1):
        super(DCNv2, self).__init__()

        self.in_channels = in_channels
        self.out_channels = out_channels
        self.kernel_size = (kernel_size, kernel_size)
        self.stride = (stride, stride)
        self.padding = (autopad(kernel_size, padding), autopad(kernel_size, padding))
        self.dilation = (dilation, dilation)
        self.groups = groups
        self.deformable_groups = deformable_groups

        self.weight = nn.Parameter(
            torch.empty(out_channels, in_channels, *self.kernel_size)
        )
        self.bias = nn.Parameter(torch.empty(out_channels))

        out_channels_offset_mask = (self.deformable_groups * 3 *
                                    self.kernel_size[0] * self.kernel_size[1])
        self.conv_offset_mask = nn.Conv2d(
            self.in_channels,
            out_channels_offset_mask,
            kernel_size=self.kernel_size,
            stride=self.stride,
            padding=self.padding,
            bias=True,
        )
        self.bn = nn.BatchNorm2d(out_channels)
        self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        self.reset_parameters()

    def forward(self, x):
        offset_mask = self.conv_offset_mask(x)
        o1, o2, mask = torch.chunk(offset_mask, 3, dim=1)
        offset = torch.cat((o1, o2), dim=1)
        mask = torch.sigmoid(mask)
        x = torch.ops.torchvision.deform_conv2d(
            x,
            self.weight,
            offset,
            mask,
            self.bias,
            self.stride[0], self.stride[1],
            self.padding[0], self.padding[1],
            self.dilation[0], self.dilation[1],
            self.groups,
            self.deformable_groups,
            True
        )
        x = self.bn(x)
        x = self.act(x)
        return x

    def reset_parameters(self):
        n = self.in_channels
        for k in self.kernel_size:
            n *= k
        std = 1. / math.sqrt(n)
        self.weight.data.uniform_(-std, std)
        self.bias.data.zero_()
        self.conv_offset_mask.weight.data.zero_()
        self.conv_offset_mask.bias.data.zero_()

修改models/yolo.py文件中的parse_model函数：
在这里插入图片描述

二、Backbone添加DCN

MP-DCN

将Backbone中的MP模块替换成MP-DCN模块，模块实现如下图所示：
在这里插入图片描述
yaml文件配置如下：

# parameters
nc: 2  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  - [12,16, 19,36, 40,28]  # P3/8
  - [36,75, 76,55, 72,146]  # P4/16
  - [142,110, 192,243, 459,401]  # P5/32

# yolov7 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [32, 3, 1]],  # 0

   [-1, 1, Conv, [64, 3, 2]],  # 1-P1/2
   [-1, 1, Conv, [64, 3, 1]],

   [-1, 1, Conv, [128, 3, 2]],  # 3-P2/4
   [-1, 1, Conv, [64, 1, 1]],
   [-2, 1, Conv, [64, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]],  # 11

   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, DCNv2, [128, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 16-P3/8
   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]],  # 24

   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, DCNv2, [256, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 29-P4/16
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 37

   [-1, 1, MP, []],
   [-1, 1, Conv, [512, 1, 1]],
   [-3, 1, Conv, [512, 1, 1]],
   [-1, 1, DCNv2, [512, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 42-P5/32
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 50
  ]

# yolov7 head
head:
  [[-1, 1, SPPCSPC, [512]], # 51

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [37, 1, Conv, [256, 1, 1]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],

   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 63

   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [24, 1, Conv, [128, 1, 1]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],

   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1]], # 75

   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3, 63], 1, Concat, [1]],

   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 88

   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3, 51], 1, Concat, [1]],

   [-1, 1, Conv, [512, 1, 1]],
   [-2, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]], # 101

   [75, 1, RepConv, [256, 3, 1]],
   [88, 1, RepConv, [512, 3, 1]],
   [101, 1, RepConv, [1024, 3, 1]],

   [[102,103,104], 1, IDetect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]

Flops不增反减！

Model Summary: 415 layers, 37665225 parameters, 37665225 gradients, 98.5 GFLOPS

总结：本人亲测将Backbone最后一层即P5/32层中的MP模块的 3 ∗ 3 3*3 3∗3卷积替换成MP-DCN可以实现对我的数据集的提点，后将Backbone中的所有MP模块的 3 ∗ 3 3*3 3∗3卷积替换，在此基础上又实现提点。做实验的小伙伴可以考虑从最后一层开始添加，逐渐增多，找到最适合自己数据集的改进方式。

ELAN-DCN

将Backbone中的ELAN模块的 3 ∗ 3 3*3 3∗3卷积CBS替换成DCBS，结构如下图所示：
在这里插入图片描述
yaml文件配置如下：

# parameters
nc: 2  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  - [12,16, 19,36, 40,28]  # P3/8
  - [36,75, 76,55, 72,146]  # P4/16
  - [142,110, 192,243, 459,401]  # P5/32


# yolov7 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [32, 3, 1]],  # 0

   [-1, 1, Conv, [64, 3, 2]],  # 1-P1/2
   [-1, 1, Conv, [64, 3, 1]],

   [-1, 1, Conv, [128, 3, 2]],  # 3-P2/4
   [-1, 1, Conv, [64, 1, 1]],
   [-2, 1, Conv, [64, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]],  # 11

   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 16-P3/8
   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]],  # 24

   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 29-P4/16
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 37

   [-1, 1, MP, []],
   [-1, 1, Conv, [512, 1, 1]],
   [-3, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 42-P5/32
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, DCNv2, [256, 3, 1]],
   [-1, 1, DCNv2, [256, 3, 1]],
   [-1, 1, DCNv2, [256, 3, 1]],
   [-1, 1, DCNv2, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 50
  ]

# yolov7 head
head:
  [[-1, 1, SPPCSPC, [512]], # 51

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [37, 1, Conv, [256, 1, 1]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],

   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 63

   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [24, 1, Conv, [128, 1, 1]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],

   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1]], # 75

   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3, 63], 1, Concat, [1]],

   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 88

   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3, 51], 1, Concat, [1]],

   [-1, 1, Conv, [512, 1, 1]],
   [-2, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]], # 101

   [75, 1, RepConv, [256, 3, 1]],
   [88, 1, RepConv, [512, 3, 1]],
   [101, 1, RepConv, [1024, 3, 1]],

   [[102,103,104], 1, IDetect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]

注意：上述yaml配置只替换了Backbone中最后一层P5/32中的ELAN模块

总结：做实验的小伙伴可以考虑从最后一层开始添加，逐渐增多，找到最适合自己数据集的改进方式。

三、Neck添加DCN

ELAN-H-DCN

在这里插入图片描述

YOLOv10改进系列 ---- Conv篇 ---- 2024.1月最新成果可变形卷积DCNv4（适用检测、Seg、分类、Pose、OBB）
m0_58941767的博客
02-18 3314
本文给大家带来的改进机制是2024-1月的最新成果DCNv4，其是DCNv3的升级版本，效果可以说是在目前的卷积中名列前茅了，同时该卷积具有轻量化的效果！一个DCNv4参数量下降越15Wparameters左右，。它主要通过两个方面对前一版本DCNv3进行改进：首先，它移除了空间聚合中的softmax归一化，这样做增强了其动态特性和表达能力；其次，它优化了内存访问过程，以减少冗余操作，从而加快处理速度。DCNv4的表现可以说是非常的全面，同时该网络为新发目前存在大量使用Bug我均已修复。
[yolo系列：yolov7添加可变形卷积Deformable Conv V2]
weixin_47869094的博客
10-08 1238
一般可变形卷积是添加到主干网上，如果想添加到head部分，自行尝试。
YOLOv8改进——引入可变形卷积DCNv3
zyw2002的博客
08-21 2万+
本文只讲解在YOLOv8的代码中添加DCNv3的操作流程, 具体的原理参见上述的链接~是pytorch实现的版本，只要基础的pytorch环境安装正确就不会出错。是C++实现版本，必须先在上一步编译成功，或者安装好了轮子，否则会报错。但是在实际的训练过程中，C++版本的运行速度更快，推荐使用C++版本。(具体怎么修改，都可以自己决定，然后通过实验看看效果如何)文件夹，该文件夹下的内容就是实现DCNv3算子的核心代码。中，下图中的列表里添加。
YOLOv8改进 | 主干网络| 可变形卷积网络C2f_DCN【CVPR2017】
kay_545
06-25 2328
yolov8，yolov8改进，yolov8，DCN
YOLOv8添加DCNv2可变形卷积
weixin_70423469的博客
07-13 1万+
最近比较火的可变形卷积（Deformable Convolutional Networks(DCN)）被称为目标检测改进网络结构的中涨点神器，确实在yolov8中加入DCN3可以涨3到4个点，尤其是它对小目标检测效果较好。来declare一下，否则会导入失败，至此已经差不多就ok了，现在只需要在yaml中你想要更改的网络结构的地方改一下就行，然后就可以训练了，如果不确定可以在训练的时候看一下print的网络结构即可。这三处()里都加上C2f_DCN，接着在modules文件夹下的__init__.py。
YOLOv8性能优化探索：多位置替换可变形卷积（DCNv1、DCNv2、DCNv3）的应用与分析【附保姆级代码】（YOLOv8）
步入烟尘的博客
10-12 998
可变形卷积（Deformable Convolution）最早由Dai等人在2017年提出，其核心思想是在标准卷积操作的基础上，引入可学习的偏移量（offsets），使卷积核能够自适应调整其采样位置，从而增强模型对目标变形的感知能力。return x本文通过深入探讨可变形卷积在YOLOv8中的应用，详细介绍了DCNv1、DCNv2和DCNv3的原理和实现，并通过实验验证了其在目标检测任务中的有效性。未来，我们将继续探索更多优化策略和技术，提升YOLOv8模型的性能，以应对更复杂的目标检测任务。
YOLOv8 添加可变形卷积 DCNv2
最新发布
走向CTO的路上...
03-12 1110
通过将 DCNv2 集成到 YOLOv8 中，可以有效增强模型在处理复杂形变目标时的鲁棒性。然而，这也可能导致计算开销增加，因此需平衡精度与效率。
YOLOv11改进 | 二次创新篇 | 可变形卷积DCNv3 升级动态尺度统一检测头DynamicHead(全网独家首发)
Snu77的博客
11-08 2172
本文给大家带来的最新改进机制是在上替换DCNv3模块，其中DynamicHead的核心为DCNv2，但是今年新更新了DCNv3其作为v2的升级版效果肯定是更好的，所以我将其中的核心机制替换为DCNv3给Dyhead相当于做了一个升级，效果也比之前的普通版本要好，这个机制我认为是我个人融合的算是，先用先得全网无第二份此改进机制，同时我发布的一比一复现版本Dyhead也是收获了多个读者的反馈均有涨点效果，本文的DCNv3在我的数据上成功涨了四五个点，大家可以尝试效果比基础版本的Dyhead更好，
【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-24 2553
【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习
可变形卷积Deformable Convolution Net（DCN）理解
scut_salmon的博客
07-25 1万+
论文地址：https://arxiv.org/pdf/1703.06211 相关代码（非官方）：https://github.com/4uiiurz1/pytorch-deform-conv-v2/tree/529abbbe9b81e852d272220c855255fd631c43c6 1. 为什么做DCN 传统的卷积采用固定尺寸的卷积核，不能很好地适应几何形变 2. 什么是DCN 可...
pytorch版可变形卷积代码DCNv2.zip
04-09
pytorch版可变形卷积代码DCNv2，下载编译可直接使用，内附编译过程及详细使用方法。在Ubuntu环境下使用的。
YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-06 3万+
大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。
论文及代码详解——可变形卷积（DCNv2）
zyw2002的博客
08-17 1万+
DCNv2 是在DCNv1的基础上的改进版。理解DCNv2之前，建议先读。
卷积篇 | YOLOv8改进之主干网络中引入可变形卷积DConv
突然好想你
03-23 1056
可变形卷积模块是一种改进的卷积操作，它可以更好地适应物体的形状和尺寸，提高模型的鲁棒性。本节课就给大家介绍一下如何在YOLOv8的主干网络中引入可变形卷积模块，希望大家学习之后能够有所收获~！🌈
YOLOv7改进：BoTNeT（Bottleneck Transformer）
weixin_45303602的博客
10-10 1007
论文地址Paper本文提出的BoTNet是一种简单高效的网络，有效的将SA应用到多种视觉任务，如图像识别、目标检测、实例分割任务。通过将ResNet50中最后三个bottleneck模块的空间卷积替换为全局的SA操作，有效提升了基线模型在签署任务上的性能。Section I常用的CNN大多采用3x3的卷积核，鉴于卷积操作可以有效的不糊哦局部信息，但是对于一些视觉任务如目标检测、实例分割、关键点检测还需要建立长程依赖关系。比如实例分割中需要收集场景相关的信息才能学习物体之间的关系；
YOLOv7改进：CBAM注意力机制
weixin_45303602的博客
09-28 2739
CBAM注意力机制是由通道注意力机制（channel）和空间注意力机制（spatial）组成。 传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。CBAM从 channel 和 spatial 两个作用域出发，引入空间注意力和通道注意力两个分析维度，实现从通道到空间的顺序注意力结构。空间注意力可使神经网络更加关注图像中对分类起决定作用的像素区域而忽略无关紧要的区域，通道注意力则用于处理特征图通道的分配关系，同时对两个维度进行注意力分配增强了注意力机制对模型性能
YOLOv7改进：RepVGG结构
weixin_45303602的博客
10-05 1517
我们所说的“VGG式”指的是：没有任何分支结构。即通常所说的plain或feed-forward架构。仅使用3x3卷积。仅使用ReLU作为激活函数。主要创新点为结构重。在训练时，网络的结构是多分支进行的，而在推理时则将分支的参数进行重参数化，合为一个分支来进行的，所以推理的速度要比多分支网络快很多，并且精度也比单分支的网络更高。
YOLOv7改进：结合CotNet Transformer结构
weixin_45303602的博客
09-30 874
京东AI研究院提出的一种新的注意力结构。将CoT Block代替了ResNet结构中的3x3卷积，在分类检测分割等任务效果都出类拔萃论文：Contextual Transformer Networks for Visual Recognition有自注意力的Transformer引发了自然语言处理领域的革命，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。
YOLOv7 引入可变形卷积
01-01
### 实现和应用可变形卷积于YOLOv7 在目标检测领域，YOLOv7作为一种高效的实时检测框架，引入可变形卷积(Deformable Convolution)能够增强模型对于不同尺度物体以及复杂场景下的适应能力。具体来说，在原有架构之上加入可变形卷积模块意味着让网络具备自适应调整采样位置的能力。 为了实现在YOLOv7中集成可变形卷积的功能，主要涉及两个方面的工作： #### 修改配置文件 首先需要修改YOLOv7的配置文件来支持新的层定义。这通常涉及到编辑`.cfg`文件，添加必要的参数用于指定哪些层应该被替换为可变形卷积层[^3]。 ```yaml [convolutional] batch_normalize=1 filters=256 size=3 stride=1 pad=1 activation=mish # 将上述常规卷积层改为如下形式以启用可变形卷积 [deformable_convolution_v2] batch_normalize=1 filters=256 size=3 stride=1 pad=1 groups=1 deformable_groups=1 no_bias=0 activation=mish ``` 这里展示了如何将普通的卷积层转换成带有偏移学习机制的版本。需要注意的是，实际操作时应根据具体的实现细节适当调整参数设置。 #### 编写或移植相关代码 其次就是编写或移植相应的Python/PyTorch代码片段以便完成整个流程。这部分工作可能依赖特定库的支持，如MMCV (OpenMMLab's Computer Vision Foundation)，该库提供了方便易用APIs来进行高级视觉任务开发，其中包括了对可变形卷积的良好封装和支持[^4]。 下面给出一段简单的例子展示怎样利用mmcv快速搭建起基于PyTorch环境下的可变形卷积层: ```python import torch.nn as nn from mmcv.cnn import DeformConvPack class YOLOV7WithDCN(nn.Module): def __init__(self, pretrained=None): super(YOLOV7WithDCN, self).__init__() # 假设这是原版yolov7的一个基础block结构 base_block = ... # 使用DeformConv代替原有的普通卷积层 dcn_layer = DeformConvPack( in_channels=base_block.out_channels, out_channels=base_block.out_channels, kernel_size=(3, 3), stride=base_block.stride, padding=1) # 替换掉原来的layer... ... ``` 这段代码说明了如果想要把现有的YOLOv7组件替换成具有可变形特性的新部件应该如何去做。当然这只是个简化后的示意，真实情况下还需要考虑更多因素，比如性能优化、内存管理等问题。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

w94ghz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值