【yolov5s中加入DCNv2（可变形卷积v2）】

最新推荐文章于 2024-08-28 10:30:31 发布
最新推荐文章于 2024-08-28 10:30:31 发布
阅读量6.2k 收藏 106
点赞数 14
分类专栏： 深度学习 文章标签： python 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42550418/article/details/128037557
版权

yolov5s中加入DCNv2（可变形卷积v2）

Requirement

torch>=1.8.1
torchvision>=0.9.1

实现步骤

1.测试环境是否满足要求

import torch
import torchvision.ops
from torch import nn
import math


class DCNv2(nn.Module):
    def __init__(self,
                 in_channels,
                 out_channels,
                 kernel_size=3,
                 stride=1,
                 padding=1):

        super(DCNv2, self).__init__()
        self.in_channels = in_channels
        self.out_channels = out_channels
        self.kernel_size = kernel_size
        self.stride = stride if type(stride) == tuple else (stride, stride)
        self.padding = padding
        
        # init weight and bias
        self.weight = nn.Parameter(torch.Tensor(out_channels, in_channels, kernel_size, kernel_size))
        self.bias = nn.Parameter(torch.Tensor(out_channels))

        # offset conv
        self.conv_offset_mask = nn.Conv2d(in_channels, 
                                          3 * kernel_size * kernel_size,
                                          kernel_size=kernel_size, 
                                          stride=stride,
                                          padding=self.padding, 
                                          bias=True)
        
        # init        
        self.reset_parameters()
        self._init_weight()


    def reset_parameters(self):
        n = self.in_channels * (self.kernel_size**2)
        stdv = 1. / math.sqrt(n)
        self.weight.data.uniform_(-stdv, stdv)
        self.bias.data.zero_()


    def _init_weight(self):
        # init offset_mask conv
        nn.init.constant_(self.conv_offset_mask.weight, 0.)
        nn.init.constant_(self.conv_offset_mask.bias, 0.)


    def forward(self, x):
        out = self.conv_offset_mask(x)
        o1, o2, mask = torch.chunk(out, 3, dim=1)
        offset = torch.cat((o1, o2), dim=1)
        mask = torch.sigmoid(mask)

        x = torchvision.ops.deform_conv2d(input=x, 
                                          offset=offset, 
                                          weight=self.weight, 
                                          bias=self.bias, 
                                          padding=self.padding,
                                          mask=mask,
                                          stride=self.stride)
        return x

model = nn.Sequential(
    DCNv2(3, 32, kernel_size=3, stride=1, padding=1),
    nn.ReLU(inplace=True),
    nn.MaxPool2d(2, 2),
    DCNv2(32, 32, kernel_size=3, stride=1, padding=1),
    DCNv2(32, 64, kernel_size=3, stride=1, padding=1),
    nn.ReLU(inplace=True),
    nn.MaxPool2d(2, 2),
    DCNv2(64, 64, kernel_size=3, stride=1, padding=1),
    DCNv2(64, 128, kernel_size=3, stride=1, padding=1),
    nn.ReLU(inplace=True),
    nn.MaxPool2d(2, 2),
    DCNv2(128, 128, kernel_size=3, stride=1, padding=1),
    DCNv2(128, 256, kernel_size=3, stride=1, padding=1),
    nn.ReLU(inplace=True),
    nn.MaxPool2d(2, 2)
)
x = torch.randn(2, 3, 64, 64)
y = model(x)
print(x.size())
print(y.size())
"""
torch.Size([2, 3, 64, 64])
torch.Size([2, 256, 4, 4])
"""

如果能输出，则说明环境适配。

2.修改models/yolov5s.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# Parameters
nc: 1  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:

	- [10,13, 16,30, 33,23]  
	- [30,61, 62,45, 59,119]  # P4/16
	- [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  						# 0-P1/2
   [-1, 1, DCNv2, [128, 3, 2]],  						# 1-P2/4
   [-1, 3, C3, [128]],									# 2	
   [-1, 1, DCNv2, [256, 3, 2]],  						# 3-P3/8
   [-1, 6, C3, [256]],									# 4
   [-1, 1, DCNv2, [512, 3, 2]],  						# 5-P4/16
   [-1, 9, C3, [512]],									# 6
   [-1, 1, DCNv2, [1024, 3, 2]],  						# 7-P5/32
   [-1, 3, C3, [1024]],									# 8
   [-1, 1, SPPF, [1024, 5]],  							# 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],							# 10
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],			# 11
   [[-1, 6], 1, Concat, [1]],  							# 12 cat backbone P4
   [-1, 3, C3, [512, False]],  							# 13

   [-1, 1, Conv, [256, 1, 1]],							# 14
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],			# 15
   [[-1, 4], 1, Concat, [1]],  							# 16 cat backbone P3
   [-1, 3, C3, [256, False]],  							# 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],							# 18
   [[-1, 14], 1, Concat, [1]],  						# 19 cat head P4
   [-1, 3, C3, [512, False]],  							# 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],							# 21
   [[-1, 10], 1, Concat, [1]],  						# 22 cat head P5
   [-1, 3, C3, [1024, False]],  						# 23 (P5/32-large)

   [[17, 20, 23], 1, Detect, [nc, anchors]],  			# Detect(P3, P4, P5)
  ]

3.修改models/common.py

# --------------------------DCNv2 start--------------------------
class DCNv2(nn.Module):
    def __init__(self,
                 in_channels,
                 out_channels,
                 kernel_size=3,
                 stride=1,
                 padding=1):

        super(DCNv2, self).__init__()
        self.in_channels = in_channels
        self.out_channels = out_channels
        self.kernel_size = kernel_size
        self.stride = stride if type(stride) == tuple else (stride, stride)
        self.padding = padding
        
        # init weight and bias
        self.weight = nn.Parameter(torch.Tensor(out_channels, in_channels, kernel_size, kernel_size))
        self.bias = nn.Parameter(torch.Tensor(out_channels))

        # offset conv
        self.conv_offset_mask = nn.Conv2d(in_channels, 
                                          3 * kernel_size * kernel_size,
                                          kernel_size=kernel_size, 
                                          stride=stride,
                                          padding=self.padding, 
                                          bias=True)
        
        # init        
        self.reset_parameters()
        self._init_weight()


    def reset_parameters(self):
        n = self.in_channels * (self.kernel_size**2)
        stdv = 1. / math.sqrt(n)
        self.weight.data.uniform_(-stdv, stdv)
        self.bias.data.zero_()


    def _init_weight(self):
        # init offset_mask conv
        nn.init.constant_(self.conv_offset_mask.weight, 0.)
        nn.init.constant_(self.conv_offset_mask.bias, 0.)


    def forward(self, x):
        out = self.conv_offset_mask(x)
        o1, o2, mask = torch.chunk(out, 3, dim=1)
        offset = torch.cat((o1, o2), dim=1)
        mask = torch.sigmoid(mask)

        x = torchvision.ops.deform_conv2d(input=x, 
                                          offset=offset, 
                                          weight=self.weight, 
                                          bias=self.bias, 
                                          padding=self.padding,
                                          mask=mask,
                                          stride=self.stride)
        return x
# ---------------------------DCNv2 end---------------------------

4.修改models/yolo.py

if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,BottleneckCSP, C3]:
#在列表加DCNv2
if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,BottleneckCSP, C3, DCNv2]:

完成以上操作后，在train.py中导入对应的yaml文件和确认参数，即可开始训练。

参考

【1】 https://blog.csdn.net/shuaijieer/article/details/126249088
【2】 https://github.com/yjh0410/PyTorch_DCNv2

just f
关注
专栏目录
YOLOv8改进 | 主干网络| 可变形卷积网络C2f_DCN【CVPR2017】
kay_545
06-25 1693
yolov8，yolov8改进，yolov8，DCN
YOLOv5，YOLOv8改进-修改DCNv2
weixin_45303602的博客
08-10 2111
1. 概述Deep&Cross Network（DCN）[1]是由Google于2017年提出的用于计算CTR问题的方法，是对Wide&Deep[2]模型的进一步改进。线性模型无法学习到特征的交叉属性，需要大量的人工特征工程的介入，深度网络对于交叉特征的学习有着天然的优势，在Wide&Deep模型中，Deep侧已经是一个DNN模型，而Wide侧是一个线性模型LR，无法有效的学习到交叉特征。
关于YOLOv5中neck部分引入DCNv2替换标准卷积
qq_44438961的博客
06-09 589
引入DCnv2会很轻松的加入YOLOV5的主干部分，但是在引入NEck部分后就会报错RuntimeError:类似与这种的。
爆改YOLOv8|利用DCNv3改进yolov8,暴力涨点，即插即用
weixin_43986124的博客
08-28 1030
DCNv3独家改进yolo，yolov8, 发刊必备
【YOLOv8改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 1932
【YOLOv8改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
涨点神器：卷积变体DCNV2引入Yolov5/Yolov7，助力涨点
04-17 2059
本博客将DCNV2引入到yolov5，是卷积的一种变体，相对于常规CNN,都可以取得一定涨点。
[yolov5修改]在yolov5中加入可变形卷积模块
PLH19990227的博客
05-16 4107
在yolov5中加入可变形卷积（DeformableConvolution)，效果明显。
yolov5 加入可形变卷积
shuaijieer的博客
08-09 6177
找到parse_model函数，把DCNConv加入进去。修改yolov5s.yaml文件。修改common.py 文件。运行下面命令查看网络结构。修改yolo.p文件。
YOLOV5改进（DCN）
eagleflying_cau的博客
06-07 1034
（False,True,True,True）可以看出其对DCN的使用和PP-YOLO类似就是后面三个卷积替换成DCN。（3）更换.yaml中backbone的C3。（四个block替换后三个block）（2）在models/yolo.py中的解析模型中增加C3_DCN。（1）将下方代码复制到models/commen.py中。（2）Cascade-RCNN中对DCN的使用。（1）PP-YOLO使用DCN的方法。可以看出只是将最后一层卷积换成DCN。（3）为什么要使用可变形卷积。
基于C++的DCNv2可变形卷积网络设计源码
最新发布
09-28
该项目为基于C++实现的DCNv2可变形卷积网络设计源码，共计21个文件，涵盖5个Python脚本、5个头文件、4个C++源文件、3个CUDA源文件、1个Git忽略文件、1个许可证文件、1个Markdown文档、1个Shell脚本。支持多语言开发...
DCNv2可变形卷积开发包
11-13
可变性卷积的思想很简单，就是讲原来固定形状的卷积核变成可变的。同时可以去我的github地址去下载：https://github.com/z1z9b89/DCNv2
YOLOv8改进 | 多位置替换可变形卷积（DCNv1、DCNv2、DCNv3）助力极限涨点
走向CTO的路上...
06-27 1669
可变形卷积（Deformable Convolutional Networks，DCN）是一种近年来兴起的卷积操作，其核心思想是通过学习偏移量来动态调整卷积核的位置，以提升模型的性能。本文将介绍如何在YOLOv8模型结构中添加多位置替换可变形卷积（DCNv1、DCNv2、DCNv3），以实现极限涨点。本文介绍了如何在YOLOv8模型结构中添加多位置替换可变形卷积（DCNv1、DCNv2、DCNv3），并对YOLOv8模型进行了部分改进。
YOLOv8改进，YOLOv8添加DCNv4可变性卷积(windows系统成功编译)，全网最详细教程
weixin_44779079的博客
08-26 2016
DCNv4通过两项关键增强解决了其前身DCNv3的局限性：1. 移除空间聚合中的softmax归一化，以增强其动态特性和表达能力；2. 优化内存访问以最小化冗余操作，从而加速计算。这些改进使得DCNv4相比DCNv3显著加快了收敛速度，并且处理速度大幅提升，前向传播速度超过三倍。
YOLOv5结构改进——dynamicRELU和可变形卷积(DCN)
smallbig12的博客
02-25 2118
红外图像检测
Tensorrt 实现 yolov5x + dcnv2
J。
03-21 1928
由于固定的几何结构，CNN固有地限制了模拟几何转变。本篇论文我们引入了两个模块来加强CNN转变模拟能力，称之为可变卷积和可变Roi 池化。这些都是基于，在没有额外监督的情况下，通过额外的偏移量来增加模块中的空间采样位置，并从目标任务中学习偏移量。新模块可以替换CNN中的普通模块，并且能通过标准的反向传播进行端到端训练，得到的成为可变卷积网络。大量实验表明这个模块性能确实有提升。
YOLOv8改进——引入可变形卷积DCNv3
热门推荐
zyw2002的博客
08-21 2万+
本文只讲解在YOLOv8的代码中添加DCNv3的操作流程, 具体的原理参见上述的链接~是pytorch实现的版本，只要基础的pytorch环境安装正确就不会出错。是C++实现版本，必须先在上一步编译成功，或者安装好了轮子，否则会报错。但是在实际的训练过程中，C++版本的运行速度更快，推荐使用C++版本。(具体怎么修改，都可以自己决定，然后通过实验看看效果如何)文件夹，该文件夹下的内容就是实现DCNv3算子的核心代码。中，下图中的列表里添加。
深度学习算法中的可变形卷积神经网络（Deformable Convolutional Networks）
牛肉胡辣汤
09-26 570
深度学习算法中的可变形卷积神经网络（Deformable Convolutional Networks）
可形变卷积代码自用
互相学习的小博客
10-17 1308
【代码】可形变卷积代码自用。
yolov8可变形卷积dcnv2
10-06
yolov8中的可变形卷积（DCNv2）是一种用于目标检测的改进网络结构。通过引入可变形卷积，它可以在小目标检测方面取得更好的效果。DCNv2在yolov8中的加入可以使性能提升3到4个点。之前的一些算法（如CenterNet）由于使用了可变形卷积，而Keras和tensorflow官方没有实现可变形卷积，所以需要自行实现。您只需要在相应的网络结构部分进行修改，然后即可进行训练。如果不确定，您可以在训练过程中查看打印的网络结构信息。
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值