pytorch学习之nn模块

最新推荐文章于 2025-02-19 09:42:34 发布
最新推荐文章于 2025-02-19 09:42:34 发布
阅读量212 收藏
点赞数
分类专栏： pytorch框架 文章标签： pytorch 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72955351/article/details/131761559
版权

nn模块

卷积层

1d/2d/3d/convolution

卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加

卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征

卷积过程类似于用一个模板去图像上寻找与它相似的区域，与卷积核模型越相近，激活值越高，从而实现特征提取

卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积

nn.Conv2d

功能：对多个二维信号进行二维卷积

主要参数：

  • in_chanels：输入通道数
  • out_channels：输出通道数，等价于卷积核个数
  • kernel_size：卷积核尺寸
  • stride：步长
  • padding：填充个数，通常是保持输入输出的特征分辨率保持不变
  • dilation：空洞卷积大小，常用于图像分割任务，提高感受野
  • groups：分组卷积设置
  • bias：偏置

卷积过程中权值一般一个4维的形状，但是最后为什么做的是2维卷积？

一般查看权值的形状的时候，通常都是shape(c1, c2, c3, c4)

  • c1输出的维度，有多少卷积核输出就是多少
  • c2 输入的维度
  • c3、c4卷积核的大小

输入的图像通常是RGB形式，因为会创建3个卷积核，分别在不同的维度上面进行卷积，然后卷积的值相加，最后加上偏置，得到特征图

转置卷积

用于对图像进行上采样

假设图像尺寸为4*4，卷积核为3*3，paddin=0，stride=1

  • 正常卷积
    首先将图片拉成一个16*1的向量，这个1代表的是一张图片，然后3*3的卷积自动补零变成16，因为输入是4*4，所以卷积核是4*16，相乘得一个4*1，再reshape变成2*2

  • 转置卷积
    和上面一样，先拉成一个16*1的向量，卷积核因为输出是一个4*4，但是输入是一个2*2特征图，因为卷积核的大小是16*4，最后输出的就是一个16*1，然后在reshape变成4*4

pytorch也自带转置卷积的函数

nn.ConvTranspose2d功能：转置卷积实现上采样

主要参数：

  • in_channel：输入通道数
  • out_channel：输出通道数
  • kernel_size：卷积核尺寸
  • stride：步长
  • padding：填充个数
  • dilation：空洞卷积大小
  • groups：分组卷积设置
  • bias：偏置

但是转置卷积会出现棋盘效应，是因为不均匀卷积导致的，且转置卷积是不可逆的

池化层

池化运算：对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层

“收集”：多变少 “总结”：最大值/平均值

nn.MaxPool2d

功能：对二维信息（图像）进行最大值池化

主要参数：

  • kernel_size：池化核尺寸
  • stride：步长
  • padding：填充个数
  • dilation：池化核间隔大小
  • ceil_mode：尺寸向上取整
  • return_indices：记录池化像素索引

nn.AvgPool2d

功能：对二维信息（图像）进行平均值池化

主要参数：

  • kernel_size：池化核尺寸
  • stride：步长
  • padding：填充个数
  • ceil_mode：尺寸向上取整
  • count_include_pad：填充值用于计算
  • divisor_override：除法因子

nn.MaxUnpool2d

功能：对二维信号（图像）进行最大值池化上采样

主要参数：

  • kernel_size：池化核尺寸
  • stride：步长
  • padding：填充个数

线性层

线性层又称全连接层，其每个神经元与上一层所有的神经元相连接，实现对前一层的线性组合，线性变换

nn.Linear

功能：对一维信号（向量）进行线性组合

主要参数：

  • in_features：输入结点数
  • out_features：输出结点数
  • bias：是否需要偏置

激活函数层

激活函数对特征进行非线性变换，赋予多层神经网络具有深度的意义

nn.Sigmoid

特性：

  • 输出值在（0,1），符合概率分布
  • 导数范围是[0, 0.25]，易导致梯度消失
  • 输出为非0均值，破坏数据分布

nn.tanh

特性：

  • 输出值在（-1,1），数据符合0均值
  • 导数范围（0,1），易导致梯度消失

nn.ReLU

特性：

  • 输出值均为正数，负半轴导致神经元坏死
  • 导数是1，缓解梯度消失，但容易引发梯度爆炸
Pytorch快速入门系列---（二）动态计算图、自动微分、torch.nn模块
qq_42681787的博客
03-09 1236
由于卷积核尺寸远远小于输入尺寸，即减少需要学习的参数的数量，并且针对每个卷积层可以使用多个卷积核获取输入的特征映射，对数据具有很强的特征提取和表示能力，并且在卷积运算之后，使得卷积神经网络结构对输入的图像具有平移不变的性质。两种池化的区别如下图所示。由上面的函数图像可以看出，该函数的输出区间是（-1,1），整个函数是以0为中心，虽然Tanh函数曲线和Sigmoid函数的曲线形状比较相近，在输入很大或者很小时，梯度很小，不利于权重更新，但由于Tanh的取值输出以0对称，使用效果会比Sigmoid好很多。
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
热门推荐
盼小辉丶的博客
06-13 7万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
Pytorch详解nn模块
weixin_43563311的博客
01-18 288
全连接层：nn.Linear 卷积层：nn.Conv2d 池化层：nn.MaxPool2d 批量归一化：nn.BatchNorm2d BN层理解
Pytorch nn.Module详解
最新发布
fydw_715的博客
02-19 1002
torch.nn.Module 是 PyTorch 中所有神经网络模块的基类，提供了构建神经网络模型的基本框架。通过继承 nn.Module，可以方便地创建自定义的神经网络模块，实现复杂的神经网络结构。下面详细介绍 nn.Module 的核心概念、使用方法和注意事项。
PyTorch-nn.Module
qq_61706112的博客
05-27 1752
PyTorch关于神经网络的一些层的应用。
Pytorch入门（二）——torch.nn模块
Mono的博客
07-14 353
torch.nn.Conv1d()：1D卷积；torch.nn.ConvTranspose1d()：1D转置卷积；torch.nn.Conv2d()：2D卷积；torch.nn.ConvTranspose2d()：2D转置卷积；torch.nn.Conv3d()：3D卷积；torch.nn.ConvTranspose3d()：3D转置卷积；torch.nn.Conv2d()输入张量的格式为(N,C,H,W)，N为样本数；C为输入通道数；H和W为图片长宽。
pytorch深度学习框架—torch.nn模块（一）
xiaoxu的博客
06-12 4408
torch.nn模块中包括了pytorch中已经准备好的层，方便使用者调用构建的网络。包括了卷积层，池化层，激活函数层，循环层，全连接层。
Pytorch基础：nn模块与网络创建——卷积模块的使用
MechMaster
01-12 1597
Pytorch基础：nn模块与网络创建——卷积模块的使用 1. 卷积模块 2. nn.Conv2d 3. 特征图的输入和输出尺寸的关系表 4. 卷积后输出特征图维度和输入相同
深度学习之pytorch 中 torch.nn介绍
qinbaby的专栏
02-20 2438
pytorch 中必用的包就是 torch.nn，torch.nn 中按照功能分，主要如下有几类：1. Layers（层）：包括全连接层、卷积层、池化层等。2. Activation Functions（激活函数）：包括ReLU、Sigmoid、Tanh等。3. Loss Functions（损失函数）：包括交叉熵损失、均方误差等。4. Optimizers（优化器）：包括SGD、Adam、RMSprop等。
初学者指南：了解 PyTorch 的 torch.nn 模块
u012374012的专栏
08-06 618
torch.nn除了使用torch.nn提供的现成层，我们还可以定义自己的层。
Pytorch nn.Module模块详解
Vic_Hao的博客
05-10 4万+
torcn.nn是专门为神经网络设计的模块化接口. nn构建于autograd之上，可以用来定义和运行神经网络。 nn.Module是nn中十分重要的类，包含网络各层的定义及forward方法。 如何定义自己的网络： 需要继承nn.Module类，并实现forward方法。 一般把网络中具有可学习参数的层放在构造函数__init__()中。 不具有可学习参数的层（如ReLU）可放在构造函数中，也...
Pytorch学习(二）—— nn模块
qq_38816432的博客
07-31 6891
torch.nnnn.Module常用的神经网络相关层优化器nn.functional初始化策略nn.Module深入分析nn和autograd借助nn搭建ResNet50 Pytorch nn模块提供了创建和训练神经网络的各种工具，其专门为深度学习设计，核心的数据结构是Module。Module是一个抽象的概念，既可以表示神经网络中的某个层，也可以表示一个包含很多层的神经网络。 nn.Module nn.Module基类构造函数： def __init__(self): self.tra
PyTorch 的 torch.nn 模块学习
pumpkin84514的博客
06-01 1831
torch.nn是 PyTorch 中专门用于构建和训练神经网络的模块。
PyTorch之nn.Module、nn.Sequential、nn.ModuleList使用详解
酒酿小圆子呀～
06-30 3834
nn.functional 中的函数没有可学习的参数，与nn.Module 中的层不同。其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。是PyTorch中一个重要的模块，它包含了许多用于构建神经网络的函数。
PyTorch的nn.Module类的详细介绍
xw555666的博客
01-29 6781
在PyTorch中，nn.Module类是构建神经网络模型的基础类，所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.Module类提供了一系列属性和方法用于管理网络的结构和训练过程中的计算。
PyTorch:nn模块
guanguanboy的专栏
10-22 258
计算图和autograd是定义复杂运算符并自动采用导数的非常强大的范例。但是对于大型神经网络，原始的autograd可能会有点太低了。 在构建神经网络时，我们经常考虑将计算分为几层，其中一些层具有可学习的参数 ，这些参数将在学习过程中进行优化。 在TensorFlow中，诸如Keras，TensorFlow-Slim和TFLearn之类的软件包在原始计算图上提供了更高级别的抽象接口，这些封装...
Pytorch nn.Module
qq_51659249的博客
03-15 1218
torch.nn是 PyTorch 中用于构建神经网络的模块。它提供了一系列的类和函数，用于定义神经网络的各种层、损失函数、优化器等。torch.nnModule: 所有神经网络模型的基类，用于定义自定义神经网络模型。Linear: 线性层，进行线性变换。Conv2d: 二维卷积层。RNNLSTMGRU: 循环神经网络层，分别对应简单RNN、长短时记忆网络（LSTM）、门控循环单元（GRU）。: 二维批归一化层。MSELoss: 分类交叉熵损失函数和均方误差损失函数等。等等torch.nn。
Pytorch 神经网络nn模块
Michael是个半路程序员
12-28 549
文章目录1. nn模块2. torch.optim 优化器3. 自定义nn模块4. 权重共享 参考 http://pytorch123.com/ 1. nn模块 import torch N, D_in, Hidden_size, D_out = 64, 1000, 100, 10 torch.nn.Sequential 建立模型，跟 keras 很像 x = torch.randn(N, D_in) y = torch.randn(N, D_out) model = torch.nn.Sequen
pytorch--nn模块（1）
m0_37347812的博客
03-26 108
PyTorch 库中的 nn 模块
05-27
PyTorch库中的nn模块是一个神经网络库，提供了很多用于构建深度神经网络的工具。 nn模块提供了一些预定义的层，如全连接层、卷积层、池化层等。此外，它还提供了一些有用的函数，如激活函数、损失函数等。 下面是一个简单的例子，演示了如何使用nn模块构建一个简单的神经网络： ``` import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 10) def forward(self, x): x = x.view(-1, 784) x = F.relu(self.fc1(x)) x = self.fc2(x) return x ``` 这个网络包含两个全连接层，输入大小为784，输出大小为10。在forward函数中，我们首先使用view函数将输入x的形状从(batch_size, 1, 28, 28)变为(batch_size, 784)，然后使用ReLU激活函数进行非线性变换，最后输出结果。 需要注意的是，nn模块中的层和函数都是可学习的参数，这意味着它们会被自动更新以适应训练数据。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值