[Pytorch系列-53]：循环神经网络 - torch.nn.LSTM（）参数详解

最新推荐文章于 2024-06-13 12:20:46 发布
最新推荐文章于 2024-06-13 12:20:46 发布
阅读量1.7k 收藏 12
点赞数 2
分类专栏： 人工智能-PyTorch 文章标签： RNN LSTM 循环神经网络 nn.LSTM 参数详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HiWangWenBing/article/details/121644547
版权

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121644547

目录

第1章 LSTM基本理论

第2章 torch.nn.LSTM类的参数详解

2.1 类的原型

 2.2 类的参数：用于构建LSTM神经网络实例

第3章 前向传播输入详解

3.1 前向传播的格式

3.2 input的格式

3.3 h_0的格式

3.4 c_0的格式

第4章 前向传播输出详解

4.1 输出返回值的格式

4.2 output的格式

4.3 h_n的格式

4.4 c_n的格式

第1章 LSTM基本理论

[人工智能-深度学习-52]：RNN的缺陷与LSTM的解决之道_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：目录第1章 RNN的缺陷1.1 RNN的前向过程1.2RNN反向求梯度过程1.2 梯度爆炸（每天进一步一点点，N天后，你就会腾飞）1.3 梯度弥散/消失（每天堕落一点点，N天后，你就彻底完蛋）1.4RNN网络梯度消失的原因1.5 解决“梯度消失“的方法主要有：1.5 RNN网络的功能缺陷第2章 LSTM长短期记忆网络2.1 LSTM概述2.3LSTM网...https://blog.csdn.net/HiWangWenBing/article/details/121547541

第2章 torch.nn.LSTM类的参数详解

2.1 类的原型

图1 LSTM内部原理介绍 没啥好说的

 2.2 类的参数：用于构建LSTM神经网络实例

图2 关键参数介绍

input_size: 输入序列的一维向量的长度。

hidden_size: 隐层的输出特征的长度。

num_layers：隐藏层堆叠的高度，用于增加隐层的深度。

bias：是否需要偏置b

batch_first：用于确定batch size是否需要放到输入输出数据形状的最前面。

若为真，则输入、输出的tensor的格式为(batch , seq , feature)

若为假，则输入、输出的tensor的格式为(seq,  batch , feature)

为什么需要该参数呢？

在CNN网络和全连接网络，batch通常位于输入数据形状的最前面 。

而对于具有时间信息的序列化数据，通常需要把seq放在最前面，需要把序列数据串行地输入网络中。

dropout: 默认0 若非0，则为dropout率。
bidirectional：是否为双向LSTM， 默认为否

第3章 前向传播输入详解

3.1 前向传播的格式

lstm (input, (h_0, c_0))

  • input：输入序列样本
  • h_0：先前的短期状态记忆
  • c_0：先前的长期状态记忆

3.2 input的格式

（1）当batch_first=false（默认）

input的形状为（seq_len,  batch,  input_size）

（2）当batch_first=true

input的形状为（batch, seq_len,  input_size）

（3）参数解读

  • batch：batch的长度
  • input_size：输入样本的向量长度。
  • seq_len：输入序列的长度，一次可以串行输入多个输入样本

3.3 h_0的格式

若h_0和c_0不提供，则默认为全0 .

h_0是格式为: (num_layers * num_directions, batch, hidden_size) 的tensor

  • num_directions：由隐层的层数决定
  • batch：batch
  • hidden_size：隐层输出特征的长度

3.4 c_0的格式

若c_0不提供时，则默认为全0 .

c_0是格式为: (num_layers * num_directions, batch, hidden_size) 的tensor

  • num_directions：由隐层的层数决定
  • batch：batch
  • hidden_size：隐层输出特征的长度

第4章 前向传播输出详解

4.1 输出返回值的格式

output, (h_n, c_n) = lstm (input, (h_0, c_0))

4.2 output的格式

（1）当batch_first=false（默认）

input的形状为（seq_len,  batch,  num_layers * num_directions,）

（2）当batch_first=true

input的形状为（batch, seq_len,  num_layers * num_directions,）

（3）参数解读

  • batch：batch的长度
  • num_directions：取决于堆叠的长度
  • seq_len：输入序列的长度，输出的长度与输入序列的长度一致。

4.3 h_n的格式

h_0是格式为: (num_layers * num_directions, batch, hidden_size) 的tensor

  • num_directions：由隐层的层数决定
  • batch：batch
  • hidden_size：隐层输出特征的长度

4.4 c_n的格式

c_0是格式为: (num_layers * num_directions, batch, hidden_size) 的tensor

  • num_directions：由隐层的层数决定
  • batch：batch
  • hidden_size：隐层输出特征的长度

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121644547

文火冰糖的硅基工坊
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Pythorch中torch.nn.LSTM()参数详解
04-27
Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解
PyTorch nn.GRU 使用详解
热门推荐
周迪新的博客
03-16 3万+
我们看官方文档一些参数介绍，以及如下一个简单例子： 看完之后，还是一脸懵逼: 输入什么鬼？ 输出又什么鬼？ (这里我先把官网中 h0 去掉了，便于大家先理解更重要的概念) import torch from torch import nn rnn = nn.GRU(10, 20, 2) input = torch.randn(5, 3, 10) output, hn = rnn(input) 运行之后，各变量的shape如下: 要使用GRU这个layer，就要明白，要先定义GRU，然后才是调用这个定义
神经网络 torch.nn---nn.LSTM()
最新发布
qq_45452617的博客
06-13 1542
c_0 是shape=(num_layers*num_directions,batch_size,hidden_size)的张量, 保存着batch中每个元素的初始化细胞状态的Tensor。:长短时记忆网络层，它的主要作用是对输入序列进行处理，对序列中的每个元素进行编码并保存它们的状态，以便后续的处理。i_t, f_t, g_t, o_t分别代表 输入门，遗忘门，细胞和输出门。x_t是上一层的在时刻t的隐状态或者是第一层在时刻t的输入。：当前时间步的输出，也是下一个时间步的输入。c_t是时刻t的细胞状态，
torch.nn.GRU使用详解
wo的博客
09-11 1万+
torch.nn.GRU 输入： (input_dim ,hidden_dim ,num_layers ，…) – input_dim 表示输入的特征维度 – hidden_dim 表示输出的特征维度，如果没有特殊变化，相当于out – num_layers 表示网络的层数 – nonlinearity 表示选用的非线性**函数，默认是 ‘tanh’ – bias 表示是否使用偏置，默认使用 – batch_first 表示输入数据的形式，默认是 False，[即(序列长度seq,批大小batch,特征维.
torch.nn中GRU使用
XD的博客
10-10 3206
【代码】torch.nn中GRU使用。
pytorch中的nn.LSTM模块参数详解
越努力 越幸运
01-26 3万+
官网：https://pytorch.org/docs/stable/nn.html#torch.nn.LSTM Parameters（参数）： input_size：输入的维度 hidden_size：h的维度 num_layers：堆叠LSTM的层数，默认值为1 bias：偏置 ，默认值：True batch_first：如果是True，则input为(batch, seq,...
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
深度学习与PyTorch入门实战教程-循环神经网络RNN&LSTM.rar
04-07
本教程旨在帮助初学者理解并掌握深度学习的基础，特别是循环神经网络（RNN）和长短时记忆网络（LSTM），这是处理序列数据，如自然语言和时间序列数据的常用模型。 循环神经网络（Recurrent Neural Networks，RNN）...
lstm-crf-pytorch:PyTorch中的LSTM-CRF
05-24
PyTorch中的LSTM-CRF 用于序列标记的双向LSTM-CRF的最小PyTorch（1.7.1）实现。 支持的功能： CUDA的小批量培训嵌入层中的查找，CNN，RNN和/或自我关注分层递归编码（HRE） 条件随机场（CRF）的PyTorch实现CRF损失的...
Pytorch-pytorch深度学习教程之循环神经网络.zip
05-22
循环神经网络（Recurrent Neural Network, RNN）是深度学习领域中一类重要的模型，尤其在处理序列数据，如自然语言处理、语音识别和时间序列预测等任务中表现出色。PyTorch 是一个流行的深度学习框架，它提供了丰富...
基于PyTorch与PyTorch-Lightning进行人工神经网络模型与CNN模型的构建.zip
07-09
准备阶段，使用 PyTorch-Lightning 进行训练框架的搭建。 在{model_name}_main.py 入口脚本（例如 cnn_main.py）中设置 Global Seed 为 42，使用自定义的 MnistDataLoader 作为训练数据，使用 pl.Trainer()对模型...
RNN基础回顾（3）（GRU）
zzw3354353337的博客
05-09 1728
GRU (Gated Recurrent Unit)也称门控循环单元结构，它也是传统RNN的变体，同LSTM一样能 够有效捕捉长序列之间的语义关联缓解、梯度消失或爆炸现象。同时它的结构和计算要比LSTM 更简单它的核心结构可以分为两个部分去解析：更新门和重置门。使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。 一、总体结构 如图是一个GRU单元的内部构造，图中的和分别表示更新门和重置门。GRU将LSTM中的输入门和遗忘门合二..
pytorch笔记：torch.nn.GRU & torch.nn.LSTM
qq_40206371的博客
01-26 3474
1 函数介绍 对于输入序列中的每个元素，每一层计算以下函数： 其中是在t时刻的隐藏状态，是在t时刻的输入。σ是sigmoid函数，*是逐元素的哈达玛积 对于多层GRU 第l层的输入（l≥2）是之前一层的隐藏状态，乘以dropout 2 输入参数介绍 input_size 输入特征的大小 hidden_size 隐藏层h特征的大小 num_layers GRU层数。 例如，设置 num_l...
【pytorch】nn.GRU的使用
安安爸Chris的专栏
08-29 1万+
官方文档在这里。 GRU具体不做介绍了，本篇只做pytorch的API使用介绍. torch.nn.GRU(*args, **kwargs) 公式 下面公式忽略bias，由于输入向量的长度和隐藏层特征值长度不一致，所以每个公式的W都按x和h分开。这跟理论公式部分有一些具体的实践上区别。 reset gate， 重置门 rt=σ(Wirxt+Whrht−1)r_t = \sigma(W_{ir}x_t+W_{hr}h_{t-1})rt​=σ(Wir​xt​+Whr​ht−1​) GRU里的参数.
GRU模块：nn.GRU层
xw555666的博客
05-04 931
如果需要深入理解GRU的话，那么内部实现的详细代码和计算公式就比较重要，中间的一些过程和变量的意义需要详细关注，只有这样，才能准备把握这个模块的内涵和意义，设计初衷和使用方式等等，所以，仔细研究这个模块的实现还是非常有必要的。对于其他的模块同样如此，只有把各个经典的模块内部原理、实现和计算调用都搞清楚了，才能更好的去设计和利用神经网络，建立内在的直觉和能力。
nn.GRU（）使用
qq_45193988的博客
07-14 1942
nn.GRU() 使用
Pytorch学习1-GRU使用和参数说明
yanqianglifei的专栏
12-22 4729
Pytorch学习1-GRU使用和参数说明
torch.nn.GRU的输入及输出示例
jiuweideqixu的博客
11-04 2万+
我们有时会看到GRU中输入的参数有时是一个，但是有时又有两个。这难免会让人们感到疑惑，那么这些参数到底是什么呢。 一、输入到GRU的参数 输入的参数有两个，分别是input和h_0。 Inputs: input, h_0 ①input的shape The shape of input:(seq_len, batch, input_size) : tensor containing the feature of the input sequence. The input can also be a packe
pytorch nn.LSTM详解 代码里有详细的参数说明
weixin_42713739的博客
09-23 6164
nn.LSTM(in_dim, hidden_dim, n_layer, batch_first=True):LSTM循环神经网络 参数： input_size： 表示的是输入的矩阵特征数 hidden_size： 表示的是输出矩阵特征数 num_layers 表示堆叠几层的LSTM，默认是1 bias： True 或者 False，决定是否使用bias batch_first： True 或者 False，因为nn.lstm()接受的数据输入是(序列长度，batch，输入维数)，这和我们cnn输入的方式不
不使用torch.nn.LSTM，用pytorch写一个LSTM网络结构
06-04
以下是使用 PyTorch 实现 LSTM 网络的代码示例： ```python import torch import torch.nn as nn class MyLSTM(nn.Module): def __init__(self, input_size, hidden_size, num_layers): super(MyLSTM, self).__init__() self.input_size = input_size self.hidden_size = hidden_size self.num_layers = num_layers # 定义 LSTM 层 self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) def forward(self, x): # 初始化 LSTM 隐藏状态和单元状态 h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device) c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device) # 前向传播 out, _ = self.lstm(x, (h0, c0)) return out ``` 在这个代码示例中，我们定义了一个名为 `MyLSTM` 的继承自 `nn.Module` 的类，它包含了一个 LSTM 层。在类的初始化函数中，我们定义了 LSTM 层的输入维度 `input_size`、隐藏状态的维度 `hidden_size`，以及 LSTM 层的层数 `num_layers`。然后，我们使用 `nn.LSTM()` 函数定义了一个 LSTM 层，并将其保存在 `self.lstm` 中。 在前向传播函数中，我们首先初始化了 LSTM 的隐藏状态和单元状态 `h0` 和 `c0`，并将其转移到输入张量 `x` 所在的设备上。然后，我们使用输入张量 `x` 和隐藏状态和单元状态 `h0` 和 `c0` 调用了 `self.lstm()` 函数来进行前向传播，得到了输出张量 `out`。最后，我们将 `out` 返回作为 LSTM 网络的输出。 使用这个代码示例，我们可以创建一个 `MyLSTM` 对象，将输入张量传递给它，然后使用它来进行前向传播。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文火冰糖的硅基工坊

你的鼓励是我前进的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值