深度学习中常用的几种卷积(下篇):膨胀卷积、可分离卷积(深度可分离、空间可分离)、分组卷积(附Pytorch测试代码)

本文深入探讨了深度学习中的膨胀卷积、可分离卷积(包括空间可分离和深度可分离)以及分组卷积。膨胀卷积通过设置膨胀率扩大感受野,但可能导致特征提取不连续;可分离卷积通过分解卷积降低计算复杂度和参数量,空间可分离卷积和深度可分离卷积各有优缺点;分组卷积通过划分通道进行并行处理,降低参数量,提高训练速度。每种卷积类型都有其应用场景和优势。
摘要由CSDN通过智能技术生成


标准二维卷积、转置卷积等详见上篇: https://blog.csdn.net/qq_43665602/article/details/126668764

一、膨胀卷积

1.介绍

膨胀卷积也称为扩张卷积或空洞卷积,一般可通过对标准二维卷积的卷积核设置合适的膨胀率(具体地指卷积核元素之间的距离)实现。合理利用膨胀卷积可在不引入其他参数的同时,扩大输出中元素的感受野,提高特征的全局表示能力
下面通过展示几个不同膨胀率下的卷积核大小以及感受野变化情况,可以更直观的理解:
图中灰色为输入,蓝色为卷积核,黄色为输出
1)dilation=1:表示卷积核元素之间距离为1,使用0进行大小为dilation-1=0的填充(这是默认情况),因此卷积核大小保持不变,依然是(2,2),输出中的每个元素映射回原始输入的大小为(2,2),既此时输出中元素

以下是使用PyTorch实现膨胀卷积的示例代码: ```python import torch import torch.nn as nn # 定义一个包含膨胀卷积的神经网络模型 class DilatedConvNet(nn.Module): def __init__(self): super(DilatedConvNet, self).__init__() self.conv1 = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, dilation=1, padding=1) self.conv2 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, dilation=2, padding=2) self.conv3 = nn.Conv2d(in_channels=128, out_channels=256, kernel_size=3, dilation=4, padding=4) self.conv4 = nn.Conv2d(in_channels=256, out_channels=512, kernel_size=3, dilation=8, padding=8) self.conv5 = nn.Conv2d(in_channels=512, out_channels=1024, kernel_size=3, dilation=16, padding=16) self.pool = nn.MaxPool2d(kernel_size=2, stride=2) self.fc = nn.Linear(in_features=1024, out_features=10) def forward(self, x): x = nn.functional.relu(self.conv1(x)) x = self.pool(x) x = nn.functional.relu(self.conv2(x)) x = self.pool(x) x = nn.functional.relu(self.conv3(x)) x = self.pool(x) x = nn.functional.relu(self.conv4(x)) x = self.pool(x) x = nn.functional.relu(self.conv5(x)) x = nn.functional.avg_pool2d(x, kernel_size=x.size()[2:]) x = x.view(x.size(0), -1) x = self.fc(x) return x # 定义一个输入数据并进行膨胀卷积 input_data = torch.randn(1, 3, 32, 32) model = DilatedConvNet() output = model(input_data) print(output.shape) # 输出:torch.Size([1, 10]) ``` 在这个示例,我们定义了一个包含膨胀卷积的神经网络模型,并使用随机生成的输入数据进行了膨胀卷积。在模型,我们使用了5个膨胀卷积层,每个卷积层的膨胀率不同,以便提取不同尺度的特征。最后,我们使用全局平均池化和全连接层对特征进行分类。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NorthSmile

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值