（C3）卷积层特点及torch.nn.Conv2d()

已于 2022-12-15 12:26:16 修改
阅读量510 收藏 1
点赞数
分类专栏： CNN基础知识积累 文章标签： 深度学习 人工智能 神经网络
于 2022-12-12 20:33:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwqian102112/article/details/128291573
版权

卷积层

文章目录

一、常规卷积

参考资料
卷积神经网络之卷积层中的多输入多输出通道
卷积中参数量和计算量
有图文讲解，更通俗易懂。

在这里插入图片描述

1.1 特点

1、每一个输入通道都有一个卷积核，输出的通道结果是所有输入通道和对应卷积核作用后结果的和；
2、1×1的卷积核用于融合通道数据；
在这里插入图片描述

1.2 参数量 和 计算量

直接截图记录

参数量

计算量

注：浮点运算量 FLOPs 和计算量不同，需要时再仔细查。

二、分组卷积

分组卷积(Group conv)与深度可分离卷积(Depthwise separable conv) ⭐

在这里插入图片描述
在这里插入图片描述

三、可分离卷积

空间可分离卷积(Spatially Separable Convolutions)：不知道哪里提出来的

深度可分离卷积(depthwise separable convolution)：逐深度卷积(Depthwise Convolution)、逐点卷积(Pointwise Convolution)。

这个感觉上更常用

3.1 逐深度卷积(Depthwise Convolution)

在这里插入图片描述

Depthwise Convolution完成后的Feature map数量与输入层的depth相同，但是这种运算对输入层的每个channel独立进行卷积运算后就结束了，没有有效的利用不同map在相同空间位置上的信息。因此需要增加另外一步操作来将这些map进行组合生成新的Feature map，即接下来的Pointwise Convolution。

3.2 逐点卷积(Pointwise Convolution)

在这里插入图片描述

在这里插入图片描述
Dk：卷积核大小

M：输入尺寸

N：输出尺寸

3.3 代码实现 ⭐

参考资料
可分离卷积及深度可分离卷积详解

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')

在这里插入图片描述

动态卷积：C3 模块的注意力革命
一直在水些技术小文
11-09 383
C3 模块是一种常用于构建深度卷积神经网络（CNN）的模块，它包括卷积、批归一化和激活函数等层。C3 模块具有较低的计算复杂度，适用于嵌入到各种深度学习架构中。return xC3 模块的优势在于它具有较低的计算复杂度，适用于嵌入到各种深度学习架构中，同时提供了一定的性能。
YOLOv11改进策略【卷积层】| CVPR-2021 多样分支块DBB，替换传统下采样Conv 含二次创新C3k2
Limiiiing的博客
10-17 450
一、本文介绍 本文记录的是利用多样分支块DBB模块优化YOLOv11的目标检测网络模型。DBB采用多分支拓扑结构，包含多尺度卷积、顺序卷积、平均池化等操作。这些不同的操作具有不同的感受野和复杂度，能够像Inception架构一样丰富特征空间。。本文将深入分析DBB模块的特点，结合YOLOv11，使模型能够学习到更全面、更具代表性的特征。 专栏目录：YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进 专栏地址：YOLOv11改
C3模块-空洞可分离卷积存在的问题及轻量化语义分割模型架构技巧
kevin_zhao_zl的博客
01-15 3566
C3即"Concentrated-Comprehensive Convolution"，文章指出轻量化语义分割模型多采用空洞可分离卷积，但是文章指出这种方式存在的信息损失，。 论文地址 工程地址   构建轻量化语义分割模型的一种方式是使用深度空洞可分离卷积，但是空洞卷积和深度可分离卷积两种方式的简单结合，形成了一个过于简单的操作，造成了特征图的信息损失导致模型表现衰退（深度可分离卷积对标准卷积的不恰当近似；空洞卷积造成的相邻像素信息损失即网格效应），为此提出了C3模块，分为两个阶段，第一个阶段使用两个深.
今天来聊一聊卷积操作的三大特点
m0_73026984的博客
08-08 487
具体而言，在卷积操作中，卷积核的参数是共享的，每一个卷积核都对应一个特征。这种权重共享的方式可以显著减少模型的参数量，降低过拟合的风险。此外，卷积层中的池化操作也有助于减少特征图的尺寸和数量，进一步提高模型的鲁棒性和泛化能力。在卷积神经网络中，通过多个卷积层的堆叠和池化操作，逐渐减小特征图的尺寸，从而实现特征的抽象和提取。卷积操作还具有特征降维的特点，即通过改变卷积核的尺寸和步长，可以减小输入数据的维度。卷积操作具有特征不变性的特点，即在输入数据发生平移、旋转、缩放等变换时，卷积层能够提取相同的特征。
卷积层运算详解与im2col实现
fakerth的博客
11-03 2471
卷积层运算详解与im2col实现
torch.nn.Conv2d
weixin_36670529的博客
05-11 695
class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 参数:Conv2d( 输入channels, 输出channels, kernel_size,...
PyTorch记录三：使用torch.nn构建自己的神经网络
liuxin19950129的博客
09-26 1123
如何自己定义一个神经网络
mport torch import torch.nn as nn import torch.nn.functional as F from .conv import Conv, DWConv, GhostConv, LightConv, RepConv from .transformer import TransformerBlock __all__ = ('DFL', 'HGBlock', 'HGStem', 'SPP', 'SPPF', 'C1', 'C2', 'C3', 'C2f', 'C3x', 'C3TR', 'C3Ghost', 'GhostBottleneck', 'Bottleneck', 'BottleneckCSP', 'Proto', 'RepC3') class DFL(nn.Module): """ Integral module of Distribution Focal Loss (DFL). Proposed in Generalized Focal Loss https://ieeexplore.ieee.org/document/9792391 """
03-08
self.conv = nn.Conv2d(c1, 1, 1, bias=False).requires_grad_(False) x = torch.arange(c1, dtype=torch.float) self.conv.weight.data[:] = nn.Parameter(x.view(1, c1, 1, 1)) def forward(self, x): # ...
``` import torch import torch.nn as nn from skimage.segmentation import chan_vese import numpy as np from torch.nn import Conv2d from torchvision.ops import FeaturePyramidNetwork from torchvision.models import resnet50 import os os.environ['KMP_DUPLICATE_LIB_OK']='TRUE' class ImageSegmentationModel(nn.Module): def __init__(self): super(ImageSegmentationModel,self).__init__() self.conv_layers = nn.Sequential( nn.Conv2d(1,128,kernel_size=3,stride=2), nn.MaxPool2d(kernel_size=3,stride=2), nn.ReLU(), nn.Conv2d(128,64, kernel_size=3, stride=2), nn.MaxPool2d(kernel_size=3, stride=2), nn.ReLU(), nn.Conv2d(64,32,kernel_size=3,stride=2), nn.MaxPool2d(kernel_size=3,stride=2), nn.ReLU(), nn.Conv2d(32,16,kernel_size=3,stride=2) ) #使用resnet作为特征提取器 self.resnet = resnet50(pretrained=True) self.initial_layer = nn.Sequential( self.resnet.conv1, # 输出通道64 self.resnet.bn1, self.resnet.relu, self.resnet.maxpool # 输出通道64 ) self.layer1 = self.resnet.layer1 # 输出256通道 self.layer2 = self.resnet.layer2 # 输出512通道 self.layer3 = self.resnet.layer3 # 输出1024通道 self.layer4 = self.resnet.layer4 # 输出2048通道 #修改，调整fpn输入通道 self.fpn = FeaturePyramidNetwork([256,512,1024,2048],256) self.conv_layers11 = nn.Conv2d(256,1,kernel_size=1,stride=1) self.final_conv = nn.Conv2d(16,21,kernel_size=1,stride=1) self.softmax = nn.Softmax(dim=1) def preprocess(self,x): #将输入图像尺寸调整为511×511，使用双线性插值法 x = torch.nn.functional.interpolate(x,size=(511,511),mode='bilinear',align_corners=False) #将输入图像转换为灰度图像，通过对通道维度求均值 x = torch.mean(x,dim=1,keepdim=True) x_np = x.detach().cpu().numpy() segmented = [] for i in range(x_np.shape[0]): img = x_np[i,0] #init =np.array([[img.shape[1]-1,0],[img.shape[1]-1,img.shape[0]-1],[0,img.shape[0]-1,],[0,0]]) snake = chan_vese(img,mu=0.25, lambda1=1.0, lambda2=1.0, tol=0.001, max_num_iter=500, dt=0.5) seg = np.zeros_like(img) from skimage.draw import polygon rr, cc = polygon(snake[:,1],snake[:,0],seg.shape) seg[rr, cc] = 1 segmented.append(seg) segmented = np.array(segmented) segmented = torch.from_numpy(segmented).unsqueeze(1).float().to(x.device) return segmented def forward(self,x): y = torch.nn.functional.interpolate(x,size=(511,511),mode='bilinear',align_corners=False) x = self.preprocess(x) conv_output = self.conv_layers(x) conv_output[0,:,:,:] = 16 print("conv_output:", conv_output.shape) z = self.initial_layer(y) c1 = self.layer1(z) # [batch,256,H,W] c2 = self.layer2(c1) # [batch,512,H,W] c3 = self.layer3(c2) # [batch,1024,H,W] c4 = self.layer4(c3) # [batch,2048,H,W] fpn_input = { 'feat1': c1, 'feat2': c2, 'feat3': c3, 'feat4': c4 } fpn_output = self.fpn(fpn_input) fpn_output_upsampled = torch.nn.functional.interpolate(fpn_output['feat1'], size=(511, 511), mode='bilinear', align_corners=False) final_output = nn.functional.conv2d(fpn_output_upsampled,conv_output,stride=1,padding=1,groups=16) final_output = self.final_conv(final_output) final_output = self.softmax(final_output) return final_output```目前conv_output的shape为[batch_size=64,16,3,3],我想让这之后的conv_output变为4个shape为[16,16,3,3]进行之后的操作
最新发布
03-20
从你的描述来看，`conv_output`当前形状为 `[batch_size=64, 16, 3, 3]`，你想将其拆分为4个形状为 `[16, 16, 3, 3]` 的张量，并用于后续操作。 以下是解决这个问题的一种方法： ### 思路分析 我们需要对 `conv_...
``` import torch import torch.nn as nn from skimage.segmentation import active_contour import numpy as np from torchvision.ops import FeaturePyramidNetwork from torchvision.models import resnet50 import os os.environ['KMP_DUPLICATE_LIB_OK']='TRUE' class ImageSegmentationModel(nn.Module): def __init__(self): super(ImageSegmentationModel,self).__init__() self.conv_layers = nn.Sequential( nn.Conv2d(1,1,kernel_size=3,stride=2), nn.MaxPool2d(kernel_size=3,stride=2), nn.ReLU(), nn.Conv2d(1, 1, kernel_size=3, stride=2), nn.MaxPool2d(kernel_size=3, stride=2), nn.ReLU(),nn.Conv2d(1,1,kernel_size=3,stride=2), nn.MaxPool2d(kernel_size=3,stride=2), nn.ReLU(), nn.Conv2d(1,1,kernel_size=3,stride=2) ) #使用resnet作为特征提取器 self.resnet = resnet50(pretrained=True) #移除resnet最后一层全连接层 self.resnet = nn.Sequential(*list(self.resnet.children())[:-2]) #修改，调整fpn输入通道 self.fpn = FeaturePyramidNetwork([256,512,1024,2048],256) def preprocess(self,x): #将输入图像尺寸调整为511×511，使用双线性插值法 x = torch.nn.functional.interpolate(x,size=(511,511),mode='bilinear',align_corners=False) #将输入图像转换为灰度图像，通过对通道维度求均值 x = torch.mean(x,dim=1,keepdim=True) #将张量转换为numpy数组，以便使用skimage库进行处理 x_np = x.detach().cpu().numpy() segmented = [] #对每个样本进行chan—vese分割 for i in range(x_np.shape[0]): img = x_np[i,0] #初始化活动轮廓的点 init =np.array([[img.shape[1]-1,0],[img.shape[1]-1,img.shape[0]-1],[0,img.shape[0]-1,],[0,0]]) #使用c-v函数进行分割 snake = active_contour(img,init,alpha=0.015,beta=10,gamma=0.001) #初始化分割结果矩阵 seg = np.zeros_like(img) from skimage.draw import polygon #绘制多边形区域（有无绘制必要？） rr, cc = polygon(snake[:,1],snake[:,0],seg.shape) #将多边形区域标记为1 seg[rr, cc] = 1 segmented.append(seg) #将分割结果转换为numpy数组 segmented = np.array(segmented) #将数组转换为张量，并添加通道维度 segmented = torch.from_numpy(segmented).unsqueeze(1).float().to(x.device) return segmented def forward(self,x): y = torch.nn.functional.interpolate(x,size=(511,511),mode='bilinear',align_corners=False) #对输入图像进行预处理 x = self.preprocess(x) #通过卷积层序列进行特征提取 conv_output = self.conv_layers(x) #通过resnet50提取特征 resnet_features = self.resnet(y) #构建fpn输入特征字典 fpn_input = { 'feat1': resnet_features[0], 'feat2': resnet_features[1], 'feat3': resnet_features[2], 'feat4': resnet_features[3] } #通过fpn网络 fpn_output = self.fpn(fpn_input) #最终卷积操作 fpn_output_upsampled = torch.nn.functional.interpolate(fpn_output['feat1'], size=(511, 511), mode='bilinear', align_corners=False) final_output = nn.functional.conv2d(fpn_output_upsampled,conv_output,stride=1,paddong=0) return final_output```运行上述代码时发生报错：RuntimeError: Given groups=1, weight of size [256, 1024, 1, 1], expected input[1, 2048, 16, 16] to have 1024 channels, but got 2048 channels instead。该怎么解决？
03-15
首先，错误发生在`final_output = nn.functional.conv2d(...)`这一行。根据错误提示，权重参数的尺寸是[256, 1024, 1, 1]，而输入张量的通道数是2048。这意味着卷积层的权重期望输入通道数为1024，但实际输入是2048...
关于LeNet-5卷积神经网络 S2层与C3层连接的参数计算的思考？？？
热门推荐
saw009的博客
06-06 1万+
关于LeNet-5卷积神经网络 S2层与C3层连接的参数计算的思考？？？ 首先图1是LeNet-5的整体网络结构图 图1 LeNet-5结构 该神经网络共有7层（不计输入层），输入图像大小为32×32。 层编号特点：英文字母+数字 英文字母代表以下一种： C→卷积层、S→下采样层（池化）、F→全连接层 ...
深度学习-基础知识-经典网络
ymy_ymy22的博客
01-06 1824
卷积神经网络 https://www.jianshu.com/p/1ea2949c0056 数据输入层/ Input layer 卷积计算层/ CONV layer ReLU激励层 / ReLU layer 池化层 / Pooling layer 全连接层 / FC layer 一般CNN结构依次为 1.INPUT 2.[[CONV -> RELU]N -> POOL?]M 3.[FC -> RELU]*K 4.FC 网络各层分析 及超详细讲解参考： ht..
2.3 C3网络结构原理及代码解释
weixin_71719718的博客
08-09 2932
self.cv1 = Conv(c1, c_, 1, 1) # 输入通道数为c1,输出通道数为c_，卷积核大小为1，步长为1，默认为0填充（实际上是图片本身）self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=False)#卷积。self.cv2 = Conv(c_, c2, 3, 1, g=g) # 输入通道数为c_,输出通道数为c2，卷积核大小为3，步长为1，默认为0填充。print("卷积值：",output2)
[Pytorch]torch.nn.functional.conv2d与深度可分离卷积和标准卷积
a171232886的博客
12-05 6459
torch.nn.functional.conv2d与深度可分离卷积和标准卷积前言F.conv2d与nn.Conv2dF.conv2d标准卷积考虑Batch的影响深度可分离卷积深度可分离卷积考虑Batch参考 前言 是在研究训练过程中遇到的 F.conv2d与nn.Conv2d 也就是torch.nn.functional.conv2d实际上是torch.nn.Conv2d的另一个用法，可以直接指定卷积核和偏置的值。 这在通常情况下是用不到的，因为卷积核的值都是训练得到的。但在一些相关运算（correlat
卷积神经网络中的分类与回归
m0_46598420的博客
11-30 3158
分类
图解CNN中的卷积（卷积运算、池化、Padding、多通道的卷积）
coderge's CSDN Blog.
06-27 4799
卷积层是深度学习神经网络中经常使用的一种层。它通过卷积运算来提取输入的特征，常用于图像、语音等信号处理任务中。 卷积层有以下几个参数： 1. 卷积核：卷积层中包含若干个卷积核，每个卷积核都是一个二维权重矩阵。卷积核的大小通常是奇数，比如3x3、5x5等，以便于有一个中心点，可以更好地提取特征。 2. 步长（stride）：指卷积核在输入数据上移动的步长。比如，构建一个3x3的卷积核，步长为2，表示每次卷积操作都会跨越2个像素。 3. 边界填充（padding）：指在输入数据的四周填充一圈像素，以保持卷积
【人工智能学习】【九】卷积神经网络
努力奋斗
02-15 1142
卷积神经网络（Convolutional Neural Networks, CNN） 这阶段内容较多，因时间问题，需要把关注点放到其他问题上，无法详细整理。原理和推导在论文基于Android平台的植物叶片识别系统中有介绍，斯坦福详细教程在网易云课堂cs231n计算机视觉课程之中。不过在AAAI 2020上，深度学习三巨头Geoffrey Hinton、Yann LeCun、Yoshua Bengi...
神经网络与深度学习（二）：卷积神经网络基础
chjmlo的博客
04-07 694
全连接网络：链接权过多，计算慢，难收敛，可能进入局部最小值，易产生过拟合问题。例如：输入1000×1000图像，隐含层有1M个节点，则输入到隐含层之间有1×10^12数量级参数。算的慢问题：减少权值连接，每一个节点只连到上一层的少数神经元，即局部连接网络；难收敛、过拟合问题：信息分层处理，每一层在上层提取特征的基础上获取进行再处理，得到更高级别的特征。
pytorch初学笔记（九）：神经网络基本结构之卷积层
CV在读
11-21 3358
常用的参数主要是前五个。(int) – Number of channels in the input image，输入图片的通道数(int) – Number of channels produced by the convolution，输出图片的通道数(intortuple) – Size of the convolving kernel，卷积核的大小e.g. if kernel size = 3, 则卷积核的大小是3*3stride(intortuple,optional。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值