pytorch学习之nn模块

最新推荐文章于 2024-01-29 13:18:42 发布
最新推荐文章于 2024-01-29 13:18:42 发布
阅读量136 收藏
点赞数
分类专栏： pytorch框架 文章标签： pytorch 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72955351/article/details/131761559
版权

nn模块

卷积层

1d/2d/3d/convolution

卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加

卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征

卷积过程类似于用一个模板去图像上寻找与它相似的区域，与卷积核模型越相近，激活值越高，从而实现特征提取

卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积

nn.Conv2d

功能：对多个二维信号进行二维卷积

主要参数：

  • in_chanels：输入通道数
  • out_channels：输出通道数，等价于卷积核个数
  • kernel_size：卷积核尺寸
  • stride：步长
  • padding：填充个数，通常是保持输入输出的特征分辨率保持不变
  • dilation：空洞卷积大小，常用于图像分割任务，提高感受野
  • groups：分组卷积设置
  • bias：偏置

卷积过程中权值一般一个4维的形状，但是最后为什么做的是2维卷积？

一般查看权值的形状的时候，通常都是shape(c1, c2, c3, c4)

  • c1输出的维度，有多少卷积核输出就是多少
  • c2 输入的维度
  • c3、c4卷积核的大小

输入的图像通常是RGB形式，因为会创建3个卷积核，分别在不同的维度上面进行卷积，然后卷积的值相加，最后加上偏置，得到特征图

转置卷积

用于对图像进行上采样

假设图像尺寸为4*4，卷积核为3*3，paddin=0，stride=1

  • 正常卷积
    首先将图片拉成一个16*1的向量，这个1代表的是一张图片，然后3*3的卷积自动补零变成16，因为输入是4*4，所以卷积核是4*16，相乘得一个4*1，再reshape变成2*2

  • 转置卷积
    和上面一样，先拉成一个16*1的向量，卷积核因为输出是一个4*4，但是输入是一个2*2特征图，因为卷积核的大小是16*4，最后输出的就是一个16*1，然后在reshape变成4*4

pytorch也自带转置卷积的函数

nn.ConvTranspose2d功能：转置卷积实现上采样

主要参数：

  • in_channel：输入通道数
  • out_channel：输出通道数
  • kernel_size：卷积核尺寸
  • stride：步长
  • padding：填充个数
  • dilation：空洞卷积大小
  • groups：分组卷积设置
  • bias：偏置

但是转置卷积会出现棋盘效应，是因为不均匀卷积导致的，且转置卷积是不可逆的

池化层

池化运算：对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层

“收集”：多变少 “总结”：最大值/平均值

nn.MaxPool2d

功能：对二维信息（图像）进行最大值池化

主要参数：

  • kernel_size：池化核尺寸
  • stride：步长
  • padding：填充个数
  • dilation：池化核间隔大小
  • ceil_mode：尺寸向上取整
  • return_indices：记录池化像素索引

nn.AvgPool2d

功能：对二维信息（图像）进行平均值池化

主要参数：

  • kernel_size：池化核尺寸
  • stride：步长
  • padding：填充个数
  • ceil_mode：尺寸向上取整
  • count_include_pad：填充值用于计算
  • divisor_override：除法因子

nn.MaxUnpool2d

功能：对二维信号（图像）进行最大值池化上采样

主要参数：

  • kernel_size：池化核尺寸
  • stride：步长
  • padding：填充个数

线性层

线性层又称全连接层，其每个神经元与上一层所有的神经元相连接，实现对前一层的线性组合，线性变换

nn.Linear

功能：对一维信号（向量）进行线性组合

主要参数：

  • in_features：输入结点数
  • out_features：输出结点数
  • bias：是否需要偏置

激活函数层

激活函数对特征进行非线性变换，赋予多层神经网络具有深度的意义

nn.Sigmoid

特性：

  • 输出值在（0,1），符合概率分布
  • 导数范围是[0, 0.25]，易导致梯度消失
  • 输出为非0均值，破坏数据分布

nn.tanh

特性：

  • 输出值在（-1,1），数据符合0均值
  • 导数范围（0,1），易导致梯度消失

nn.ReLU

特性：

  • 输出值均为正数，负半轴导致神经元坏死
  • 导数是1，缓解梯度消失，但容易引发梯度爆炸
正在进步的小李
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch 中的重要模块化接口nn.Module的使用
09-17
主要介绍了pytorch 中的重要模块化接口nn.Module的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pytorch模型层简单介绍
瞳瞳瞳呀
07-02 1084
模型层layers 深度学习模型一般由各种模型层组合而成。 torch.nn中内置了非常丰富的各种模型层。它们都属于nn.Module的子类，具备参数管理功能。 例如： nn.Linear, nn.Flatten, nn.Dropout, nn.BatchNorm2d nn.Conv2d,nn.AvgPool2d,nn.Conv1d,nn.ConvTranspose2d nn.Embedding,nn.GRU,nn.LSTM nn.Transformer 如果这些内置模型层不能够满足需求，我们也可以通过继承
PyTorch的nn.Module类的详细介绍
最新发布
xw555666的博客
01-29 2083
在PyTorch中，nn.Module类是构建神经网络模型的基础类，所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.Module类提供了一系列属性和方法用于管理网络的结构和训练过程中的计算。
深入 PyTorch：简单易懂探索 torch.nn 模块的强大功能
CDBmax的博客
01-02 1706
本文深入探索了 PyTorch 框架中的torch.nn模块，这是构建和实现高效深度学习模型的核心组件。我们详细介绍了torch.nn的关键类别和功能，包括ParameterModuleSequentialModuleListModuleDict和，为读者提供了一个全面的理解和应用指南。这篇博客仅仅是torch.nn的一部分功能，后续我这边会继续更新这个模块的其他相关功能。
pytorch深度学习框架—torch.nn模块（一）
xiaoxu的博客
06-12 3835
torch.nn模块中包括了pytorch中已经准备好的层，方便使用者调用构建的网络。包括了卷积层，池化层，激活函数层，循环层，全连接层。
PyTorch基础教程（五）torch.nn 模块（1）
旗狼
08-15 682
深度学习工具之PyTorch，通过学习PyTorch可以提高神经网络模型搭建效率，更好的构建出您想要的模型。通过学习本章内容，您可以学习到有关 PyTorch 中模块的简介
PyTorch-nn.Module
qq_61706112的博客
05-27 1543
PyTorch关于神经网络的一些层的应用。
PyTorch卷积模块
01-07
包括卷积层、池化层、提取层结构 构造一个简单的多层卷积神经网络 import numpy as np import torch from torch.autograd import Variable from torch import nn, optim ... layer1 = nn.Sequential
PyTorch框架利用torch.nn实现Logistic回归
08-11
Torch.nn模块是Pytorch为神经网络设计的模块化接口，定义了不同的网络层。Torch.nn 利用autograd来定义模型，数据结构为Module。代码运行在Python 3.9.7版本以及Pytorch 1.10版本中。代码均在pycharm上运行，均能...
PyTorch深度学习框架，实战解析，43页PPT资源
07-10
PyTorch 是一个开源的机器学习框架，广泛应用于深度学习...用户可以通过继承 torch.nn.Module 类来定义自己的模型，并使用提供的模块、层和函数来组合和扩展模型。 强大的 GPU 支持：PyTorch 提供了对 GPU 的良好支持
Pytorch学习(二）—— nn模块
qq_38816432的博客
07-31 5933
torch.nnnn.Module常用的神经网络相关层优化器nn.functional初始化策略nn.Module深入分析nn和autograd借助nn搭建ResNet50 Pytorch nn模块提供了创建和训练神经网络的各种工具，其专门为深度学习设计，核心的数据结构是Module。Module是一个抽象的概念，既可以表示神经网络中的某个层，也可以表示一个包含很多层的神经网络。 nn.Module nn.Module基类构造函数： def __init__(self): self.tra
Pytorch入门（二）——torch.nn模块
Mono的博客
07-14 280
torch.nn.Conv1d()：1D卷积；torch.nn.ConvTranspose1d()：1D转置卷积；torch.nn.Conv2d()：2D卷积；torch.nn.ConvTranspose2d()：2D转置卷积；torch.nn.Conv3d()：3D卷积；torch.nn.ConvTranspose3d()：3D转置卷积；torch.nn.Conv2d()输入张量的格式为(N,C,H,W)，N为样本数；C为输入通道数；H和W为图片长宽。
pytorch学习笔记——2.4torch.nn模块简介
weixin_52067875的博客
07-22 6365
torch.nn模块包含torch为我们准备好的各种层，方便我们调用以构建网络。我们主要介绍卷积层、池化层、激活函数层、循环层、全连接层等的相关使用方法。
11 从0开始学PyTorch | PyTorch使用nn模块、手工实现神经网络
taxuelingbing的专栏
07-04 1037
上一小节对神经网络有了基本的了解，这一小节就看一下如何用代码来实现一个神经网络。我们所用的案例还是那个温度转换的案例，只不过需要我们把之前的线性模型替换成神经网络模型，并重新训练以找到适合神经网络的权重。依照我们的经验，前面有一些前置步骤，一部分大部分代码我们都学过了，包括了引用相关的包，设置notebook的显示规范，初始化数据，分割训练集和验证集以及对数据进行标准化。
PyTorch基础教程（六）torch.nn 模块（2）
旗狼
08-16 543
深度学习工具之PyTorch，通过学习PyTorch可以提高神经网络模型搭建效率，更好的构建出您想要的模型。通过学习本章内容，您可以学习到有关 PyTorch 中模块的简介
torch.nn模块
ienest的博客
05-22 450
模块是PyTorch中用于构建神经网络的核心模块，包含了各种不同类型的层（如全连接层、卷积层、池化层）、损失函数、优化器等。
Pytorch快速入门系列---（二）动态计算图、自动微分、torch.nn模块
qq_42681787的博客
03-09 839
由于卷积核尺寸远远小于输入尺寸，即减少需要学习的参数的数量，并且针对每个卷积层可以使用多个卷积核获取输入的特征映射，对数据具有很强的特征提取和表示能力，并且在卷积运算之后，使得卷积神经网络结构对输入的图像具有平移不变的性质。两种池化的区别如下图所示。由上面的函数图像可以看出，该函数的输出区间是（-1,1），整个函数是以0为中心，虽然Tanh函数曲线和Sigmoid函数的曲线形状比较相近，在输入很大或者很小时，梯度很小，不利于权重更新，但由于Tanh的取值输出以0对称，使用效果会比Sigmoid好很多。
深度学习中的魔法工具：PyTorch中的nn.Module简单使用
DeepViewInsight的博客
09-13 246
nn.Module在PyTorch中，你可以通过继承nn.Module类来创建自定义的神经网络模型。这意味着你可以构建自己的神经网络结构，定义网络的层次结构，并指定前向传播过程。return x在这个示例中，我们创建了一个名为的自定义模型类，它继承自nn.Module。在构造函数__init__中，我们定义了模型的层次结构，包括一个输入层、一个隐藏层和一个输出层。在前向传播方法forward中，我们指定了数据在模型中的传递方式。在本文中，我们介绍了PyTorch中的nn.Module。
Pytorch nn.Module模块详解
热门推荐
Vic_Hao的博客
05-10 4万+
torcn.nn是专门为神经网络设计的模块化接口. nn构建于autograd之上，可以用来定义和运行神经网络。 nn.Module是nn中十分重要的类，包含网络各层的定义及forward方法。 如何定义自己的网络： 需要继承nn.Module类，并实现forward方法。 一般把网络中具有可学习参数的层放在构造函数__init__()中。 不具有可学习参数的层（如ReLU）可放在构造函数中，也...
PyTorch 库中的 nn 模块
05-27
PyTorch库中的nn模块是一个神经网络库，提供了很多用于构建深度神经网络的工具。 nn模块提供了一些预定义的层，如全连接层、卷积层、池化层等。此外，它还提供了一些有用的函数，如激活函数、损失函数等。 下面是一个简单的例子，演示了如何使用nn模块构建一个简单的神经网络： ``` import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 10) def forward(self, x): x = x.view(-1, 784) x = F.relu(self.fc1(x)) x = self.fc2(x) return x ``` 这个网络包含两个全连接层，输入大小为784，输出大小为10。在forward函数中，我们首先使用view函数将输入x的形状从(batch_size, 1, 28, 28)变为(batch_size, 784)，然后使用ReLU激活函数进行非线性变换，最后输出结果。 需要注意的是，nn模块中的层和函数都是可学习的参数，这意味着它们会被自动更新以适应训练数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值