Pytorch 之torch.nn初探第4关：卷积--Convolution Layers

最新推荐文章于 2023-01-17 22:04:50 发布
最新推荐文章于 2023-01-17 22:04:50 发布
阅读量753 收藏
点赞数
分类专栏： educoder人工智能答案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacker_zrq/article/details/127166909
版权

经过前几节的的学习，想必大家对torch.nn有了初步的了解。接下来，向大家介绍神经网络中的一种特殊的定义——卷积层！

任务描述

本关任务：

本关提供了一个Variable 类型的变量input，按照要求创建一 Conv1d变量conv，对input应用卷积操作并赋值给变量 output，并输出output 的大小。

相关知识

卷积的本质就是用卷积核的参数来提取原始数据的特征，通过矩阵点乘的运算，提取出和卷积核特征一致的值。

卷积层是用一个固定大小的矩形块去席卷原始数据，将原始数据分成一个个和卷积核大小相同的小块，然后将这些小块和卷积核相乘输出一个卷积值（注意这里是一个单独的值，不再是矩阵了）。

这里我们拿最常用的 conv1d举例说明卷积过程的计算。

conv1d

基本形式：

torch.nn.Conv1d (in_channels， out_channels， kernel_size， stride=1， padding=0， dilation=1， groups=1， bias=True)

用途：对输入样本应用一维卷积核

输入大小为(N，Cin​，L)

输出(N，Cout​，Lout​)

out(Ni​，Coutj​)=bias(Coutj​)+sum0lekleCin−1​weight(Coutj​

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ad_m1n
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Pytorch 之torch.nn初探
Junds0的博客
03-06 2686
第1关：torch.nn.Module 本关要求利用nn.Linear()声明一个线性模型 l，并构建一个变量 net 由三个l序列构成。 import torch import torch.nn as nn from torch.autograd import Variable #/********** Begin *********/ #声明一个in_features=2,out_features=3的线性模型 l并输出 l = nn.Linear(2, 2) print(l) #变量 net 由三个l
Pytorch 之torch.nn初探--第1关：torch.nn.Module
Martin-share的博客
01-17 2298
Pytorch 之torch.nn初探--第1关：torch.nn.Module
pytorch之torch.nn
qiu_huohuo
04-25 977
PyTorch中的 torch.nn包提供了很多与实现神经网络中的具体功能相 关的类，这些类涵盖了深度神经网络模型在搭建和参数优化过程中的常 用内容，比如神经网络中的卷积层、池化层、全连接层这类层次构造的 方法、防止过拟合的参数归一化方法、Dropout 方法，还有激活函数部 分的线性激活函数、非线性激活函数相关的方法，等等。 首先先看一段代码： import torch from torc...
torch里的分组卷积
baoxin1100的博客
03-11 793
普通卷积 如果输入特征的通道是 32，希望输出特征的通道是 64，对于 3*3 的普通卷积来说，卷积层设置为： conv = torch.nn.Conv2d(in_channels=32, out_channels=64, kernel_size=3) 我们查看卷积核的参数量 print(conv.weight.shape) # torch.size([64,32,3,3]) 所以普通卷积的参数量是 64 ×\times× 32 ×\times× 3 ×\times× 3 = 18432 个参数 分组卷
Pytorch 之torch.nn初探第3关：非线性--Nonlinearities
admin的博客
10-05 1067
在实际应用中，非线性模型往往比线性模型更加适用，而torch.nn中也提供了许多非线性模型供大家使用。让我们一起来看一看吧！
Pytorch中torch.nn的损失函数
12-21
在PyTorch中，`torch.nn`模块包含了各种损失函数，这些函数对于训练神经网络模型至关重要，因为它们衡量了模型预测与实际目标之间的差异。在本文中，我们将深入探讨三个常用的二分类和多标签分类损失函数：`torch.nn...
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
torch学习二之nn.Convolution
weixin_44134372的博客
11-25 289
torch学习二之nn.Conv1dnn.Conv1d函数参数输入数据维度转换关于kernel nn.Conv1d 一维卷积通常用于处理文本数据 函数参数 首先看一下官网定义 CLASS torch.nn.Conv1d(in_channels: int, out_channels: int, kernel_size: Union[T, Tuple[T]], stride: Union[T, Tuple[T]] = 1, padding: Union[T, Tuple[T]] = 0, dilation:
PyTorch学习笔记-神经网络Torch.NN基本骨架的使用及卷积原理
一只快乐的小蒟蒻~
11-28 942
PyTorch学习笔记-神经网络Torch.NN基本骨架的使用及卷积原理。
Pytorch 之torch.nn初探--第2关：线性--Linear layers
Martin-share的博客
01-17 696
Pytorch 之torch.nn初探--第2关：线性--Linear layers
pytorch版可变形卷积代码DCNv2.zip
04-09
pytorch版可变形卷积代码DCNv2，下载编译可直接使用，内附编译过程及详细使用方法。在Ubuntu环境下使用的。
Python-PyTorch中的可变形卷积网络
08-11
PyTorch中的可变形卷积网络
Python-利用Pytorch实现的可变形卷积网络v2
08-09
利用Pytorch实现的可变形卷积网络v2
PyTorch笔记 - Convolution卷积运算的原理 (4)
Mystra
08-10 768
把5x5的Input转换为25x1，将3x3的kernel，也转换为25x1的kernel，其他位置进行填充0，通过kernel matrix，提升特征图尺寸。通过对kernel进行展开，来实现二维卷积，并推导出转置卷积，不考虑batch和channel。nn.ConvTranspose2d转置卷积。版本，可以通过unfold实现。...
torch.conv2d 参数解析与 NumPy 复现
a119334的博客
07-24 1343
《深度学习专项》只介绍了卷积的stride, padding这两个参数。实际上，编程框架中常用的卷积还有其他几个参数。在这篇文章里，我会介绍如何用NumPy复现PyTorch中的二维卷积`torch.conv2d`的前向传播。如果大家也想多学一点的话，建议看完本文后也自己动手写一遍卷积，彻底理解卷积中常见的参数。............
更灵活、有个性的卷积——可变形卷积（Deformable Conv）
soaring_casia的专栏
12-15 4897
作者简介 CW，广东深圳人，毕业于中山大学（SYSU）数据科学与计算机学院，毕业后就业于腾讯计算机系统有限公司技术工程与事业群（TEG）从事Devops工作，期间在AI LAB实习过，实操过道路交通元素与医疗病例图像分割、视频实时人脸检测与表情识别、OCR等项目。 目前也有在一些自媒体平台上参与外包项目的研发工作，项目专注于CV领域（传统图像处理与深度学习方向均有）。 前言 相信大家在看paper的时候或多或少都能见到Deformable操作的身影，这种可变形操作可嵌入到算法中的许...
Pytorch 之torch.nn进阶第1关：正则化
admin的博客
10-05 1104
经过“ Pytorch 之 torch.nn初探“ 实训的学习，想必同学们对torch.nn有了一个初步的认识。接下来，本实训将介绍更多内容帮助同学们运用神经网络的特性。任务描述本关任务：本关提供了一个Variable类型的变量input，要求利用创建一个4维的 带有学习参数的正则化量m，并输出其weight和bias。相关知识正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。在本节中，我们将介绍正则化方面的知识，这有助于预防过拟合的问题的产生。
pytorch入门 Convolution & Pooling
JJChowLoT的博客
07-19 565
知识点 1、读取图像，灰度图像 2、显示图像 3、定义卷积层 4、nn.Conv2d参数 5、定义kernel 6、修改nn.Conv2d的weight 7、输出图像转numpy() 8、定义池化层 对于Convolution ，一般用torch.nn.Conv2d定义（torch.nn.functional.conv2d()用的比较少) import numpy as np import tor...
可变形卷积：DCNv1and DCNv2
chairon的博客
05-10 5687
可变形卷积顾名思义就是卷积的位置是可变形的，并非在传统的N × N的网格上做卷积，这样的好处就是更准确地提取到我们想要的特征（传统的卷积仅仅只能提取到矩形框的特征）(a)是标准的3×3卷积。(b)，( c)，(d)是给普通卷积加上偏移之后形成的可变形的卷积核，其中蓝色的是新的卷积点，箭头是位移方向。因此DCN v1提出在方形卷积核上的每个点学习一个偏移（offset），卷积核可以根据不同的数据学习不同的卷积核结构，如图1所示。在不同的阶段，不同的特征图，甚至不同的像素点上都可能有其最优的卷积核结构。
class NLayerDiscriminator(nn.Module): def init(self, input_nc=3, ndf=64, n_layers=3, norm_layer=nn.BatchNorm2d, use_sigmoid=False, use_parallel=True): super(NLayerDiscriminator, self).init() self.use_parallel = use_parallel if type(norm_layer) == functools.partial: use_bias = norm_layer.func == nn.InstanceNorm2d else: use_bias = norm_layer == nn.InstanceNorm2d self.conv1 = nn.Conv2d(input_nc, ndf, kernel_size=3, padding=1) self.conv_offset1 = nn.Conv2d(ndf, 18, kernel_size=3, stride=1, padding=1) init_offset1 = torch.Tensor(np.zeros([18, ndf, 3, 3])) self.conv_offset1.weight = torch.nn.Parameter(init_offset1) # 初始化为0 self.conv_mask1 = nn.Conv2d(ndf, 9, kernel_size=3, stride=1, padding=1) init_mask1 = torch.Tensor(np.zeros([9, ndf, 3, 3]) + np.array([0.5])) self.conv_mask1.weight = torch.nn.Parameter(init_mask1) # 初始化为0.5 kw = 4 padw = int(np.ceil((kw-1)/2)) nf_mult = 1 for n in range(1, n_layers): nf_mult_prev = nf_mult nf_mult = min(2n, 8) self.sequence2 = [ nn.Conv2d(ndf * nf_mult_prev, ndf * nf_mult, kernel_size=kw, stride=2, padding=padw, bias=use_bias), norm_layer(ndf * nf_mult), nn.LeakyReLU(0.2, True) ] nf_mult_prev = nf_mult nf_mult = min(2n_layers, 8) self.sequence2 += [ nn.Conv2d(ndf * nf_mult_prev, ndf * nf_mult, kernel_size=kw, stride=1, padding=padw, bias=use_bias), norm_layer(ndf * nf_mult), nn.LeakyReLU(0.2, True) ] self.sequence2 += [nn.Conv2d(ndf * nf_mult, 1, kernel_size=kw, stride=1, padding=padw)] if use_sigmoid: self.sequence2 += [nn.Sigmoid()] def forward(self, input): input = self.conv1(input) offset1 = self.conv_offset1(input) mask1 = torch.sigmoid(self.conv_mask1(input)) sequence1 = [ torchvision.ops.deform_conv2d(input=input, offset=offset1, weight=self.conv1.weight, mask=mask1, padding=(1, 1)) ] sequence2 = sequence1 + self.sequence2 self.model = nn.Sequential(*sequence2) nn.LeakyReLU(0.2, True) return self.model(input)，上述代码中：出现错误：torchvision.ops.deform_conv2d(input=input, offset=offset1,RuntimeError: Expected weight_c.size(1) * n_weight_grps == input_c.size(1) to be true, but got false. (Could this error message be improved? If so, please report an enhancement request to PyTorch.)
最新发布
05-30
这个错误是由于输入的通道数和权重的通道数不匹配导致的。在这段代码中，使用了deformable convolution操作，该操作需要使用偏移量和掩码对输入进行卷积，其中偏移量和掩码都是通过卷积层生成的。在这个模型中，第一个卷积层的输出通道数为ndf，而第一个偏移量卷积层的输出通道数为18，第一个掩码卷积层的输出通道数为9。因此，当使用deformable convolution对输入进行卷积时，需要使用第一个卷积层的权重，偏移量和掩码，但是由于通道数不匹配，导致出现了上述错误。 要解决这个问题，可以修改偏移量和掩码卷积层的输出通道数，使其与第一个卷积层的输出通道数相同。具体来说，可以将偏移量卷积层的输出通道数修改为ndf*2，掩码卷积层的输出通道数修改为ndf。同时，需要相应地修改初始化偏移量和掩码的代码。修改后的代码如下： ``` class NLayerDiscriminator(nn.Module): def __init__(self, input_nc=3, ndf=64, n_layers=3, norm_layer=nn.BatchNorm2d, use_sigmoid=False, use_parallel=True): super(NLayerDiscriminator, self).__init__() self.use_parallel = use_parallel if type(norm_layer) == functools.partial: use_bias = norm_layer.func == nn.InstanceNorm2d else: use_bias = norm_layer == nn.InstanceNorm2d self.conv1 = nn.Conv2d(input_nc, ndf, kernel_size=3, padding=1) self.conv_offset1 = nn.Conv2d(ndf, ndf*2, kernel_size=3, stride=1, padding=1) init_offset1 = torch.Tensor(np.zeros([ndf*2, ndf, 3, 3])) self.conv_offset1.weight = torch.nn.Parameter(init_offset1) # 初始化为0 self.conv_mask1 = nn.Conv2d(ndf, ndf, kernel_size=3, stride=1, padding=1) init_mask1 = torch.Tensor(np.zeros([ndf, ndf, 3, 3]) + np.array([0.5])) self.conv_mask1.weight = torch.nn.Parameter(init_mask1) # 初始化为0.5 kw = 4 padw = int(np.ceil((kw-1)/2)) nf_mult = 1 for n in range(1, n_layers): nf_mult_prev = nf_mult nf_mult = min(2**n, 8) self.sequence2 = [ nn.Conv2d(ndf * nf_mult_prev, ndf * nf_mult, kernel_size=kw, stride=2, padding=padw, bias=use_bias), norm_layer(ndf * nf_mult), nn.LeakyReLU(0.2, True) ] nf_mult_prev = nf_mult nf_mult = min(2**n_layers, 8) self.sequence2 += [ nn.Conv2d(ndf * nf_mult_prev, ndf * nf_mult, kernel_size=kw, stride=1, padding=padw, bias=use_bias), norm_layer(ndf * nf_mult), nn.LeakyReLU(0.2, True) ] self.sequence2 += [nn.Conv2d(ndf * nf_mult, 1, kernel_size=kw, stride=1, padding=padw)] if use_sigmoid: self.sequence2 += [nn.Sigmoid()] def forward(self, input): input = self.conv1(input) offset1 = self.conv_offset1(input) mask1 = torch.sigmoid(self.conv_mask1(input)) sequence1 = [ torchvision.ops.deform_conv2d(input=input, offset=offset1[:, :18, :, :], weight=self.conv1.weight, mask=mask1, padding=(1, 1)) ] sequence2 = sequence1 + self.sequence2 self.model = nn.Sequential(*sequence2) nn.LeakyReLU(0.2, True) return self.model(input) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ad_m1n

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值