Pytorch中如何理解RNN LSTM GRU的input（重点理解seq_len / time_steps）

最新推荐文章于 2025-03-04 11:03:25 发布
最新推荐文章于 2025-03-04 11:03:25 发布
阅读量1w 收藏 87
点赞数 33
分类专栏： Pytorch 文章标签： Pytorch RNN LSTM input seq_len
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yyhhlancelot/article/details/103987292
版权

在建立时序模型时，若使用keras，我们在Input的时候就会在shape内设置好sequence_length(后面简称seq_len)，接着便可以在自定义的data_generator内进行个性化的使用。这个值同时也就是time_steps，它代表了RNN内部的cell的数量，有点懵的朋友可以再去看看RNN的相关内容：个人总结：从RNN（内含BPTT以及梯度消失/爆炸）到 LSTM（内含GRU）Seq2Seq Attention

所以设定好这个值是很重要的事情，它和batch_size，feature_dimensions(在词向量的时候就是embedding_size了)构成了我们Input的三大维度，无论是keras/tensorflow，亦或是Pytorch，本质上都是这样。

牵涉到这个问题是听说Pytorch自由度更高，最近在做实验的时候开始尝试用Pytorch了，写完代码跑通后，过了段时间才意识到，好像没有用到seq_len这个参数，果然是Keras用多了的后遗症？！（果然是博主比较蠢！）检查了一下才发现，DataLoader生成数据的时候，默认生成为(batch_size, 1, feature_dims)。（这里无视了batch_size和seq_len的顺序，在建立模型的时候，比如nn.LSTM有个batch_first的参数，它决定了谁前谁后，但这不是我们这里讨论的重点）。

所以我们的seq_len/time_steps被默认成了1，这是在使用Pytorch的时候容易发生的问题，由于Keras先天的接口设置在Input时就让我们无脑设置seq_len，这反而不会成为我们在使用Keras时发生的问题，而Pytorch没有让我们在哪里设置这个参数，所以一不小心可能就忽视了。

好了，接下来就来找找问题怎么出现的，又怎么解决。果然问题还是出现在了DataLoader，在__getitem__(self, index)这里，决定了我们如何取出数据，这里我发现我自己还是用的最简单的方式一条一条取的。
最低0.47元/天 解锁文章
样本数（N）、时间步长（seq_len）和批次大小（batch_size）
lin的博客
01-14 1505
问题记录
pytorch中RNN,LSTM,GRU使用详解
热门推荐
lkangkang的博客
05-04 2万+
RNNCell nn.RNNCell(input_size, hidden_size, bias=True, nonlinearity=‘tanh’) h′=tanh⁡(Wihx+bih+Whhh+bhh) h^{\prime}=\tanh \left(W_{i h} x+b_{i h}+W_{h h} h+b_{h h}\right) h′=tanh(Wih​x+bih​+Whh​h+bhh​)...
序列到序列模型
qq_37977007的博客
01-17 2849
Seq2Seq模型是一种深度学习模型，专门用于处理序列数据的转换和生成任务。该模型最初被设计用于机器翻译，但在自然语言处理和其他领域中得到了广泛应用。其基本结构包括编码器（Encoder）和解码器（Decoder），通过这两个组件，模型能够将输入序列映射到一个固定长度的表示，并从中生成目标序列。
【SegRNN代码理解之】dataloader是怎么封装的
最新发布
2301_77549977的博客
03-04 977
batch_x.shape 标准化以后得原始特征 = 16*60*7 batch_y.shape = [16, 24, 7];batch_x_mark时间戳特征=[16, 60, 4];因为时间序列样本是样本，时间步是时间步，是怎么做到时间步的滑动窗口、重叠的时间步的滑动窗口和时间步重叠。
Python-在PyTorch中使用LSTM进行风速预测
08-11
在PyTorch中使用LSTM进行风速预测
Pytorch中如何理解RNN LSTM的input（重点理解seq_len/time_steps）
进击的扛把子
01-21 2914
在建立时序模型时，若使用keras，我们在Input的时候就会在shape内设置好sequence_length（后面均用seq_len表示），接着便可以在自定义的data_generator内进行个性化的使用。这个值同时也就是time_steps，它代表了RNN内部的cell的数量，有点懵的朋友可以再去看看RNN的相关内容： https://blog.csdn.net/yyhhlancelot/article/details/102502355 所以设定好这个值是很重要的事情，它和batch_size，f
【深度学习】在PyTorch中使用 LSTM 进行新冠病例预测
fengdu78的博客
12-28 7489
时间序列数据，顾名思义是一种随时间变化的数据。例如，24 小时时间段内的温度，一个月内各种产品的价格，特定公司一年内的股票价格。长短期记忆网络(LSTM)等高级深度学习模型能够捕捉时间序列...
dynamic.rnn()sequence_len理解
studyvcmfc的专栏
04-15 319
https://blog.csdn.net/z2539329562/article/details/89790909
深度学习之RNN,LSTM,GRU,CNN-GRU,ABLSTM(pytorch实现)
Dog_King_的博客
04-27 3843
RNN模型最重要的贡献就是引入了隐藏层，隐状态存储的都是前一些时刻的相关特征信息，也是隐状态让模型有了记忆的能力。计算公式就类似于线性层。t时刻的H是由t-1时刻的H（也就是记忆的之前的信息），加上Xt（当前时刻的特征）GRU模型和前面的RNN模型很像，包括输入特征、隐藏态、输出。但是又有了改进，主要改进了隐藏态H的计算方法，通过门控制隐状态。这里引进了门，就是数电那种逻辑电路。这里引入了重置门和更新门，都是根据上一个时刻的隐藏态和t时刻的特征X计算得出。GRU还引入了候选隐状态。
pytorch入门：pytorch实现 LSTM ,GRU,RNN
AI路漫漫
01-27 2235
pytorch实现 LSTM ,GRU,RNN
PyTorch中的循环神经网络（RNN+LSTM+GRU）
小马日记
11-23 4415
一、RNN网络 1、Pytorch中的RNN参数详解 rnn = nn.RNN(*arg,**kwargs) （1）input_size：输入xtx_txt​的维度 （2）hidden_size：输出hth_tht​的维度 （3）num_layers：网络的层数，默认为1层 （4）nonlinearity：非线性激活函数，默认是tanh，也可以选择relu等 （5）bias：是否有偏置。默认为T...
pytorch 实现gru_STEP-2:RNN:GRU、LSTM-Pytorch
weixin_39565390的博客
12-19 231
感谢伯禹学习平台，本次学习将记录记录如何使用Pytorch高效实现网络，熟练掌握Pytorch的基础知识,记录不包含理论知识的细节展开一：GRU和LSTM-Pytorch实现GRU结构，来自教学平台的图片GRU结构示意图LSTM结构，来自教学平台的图片LSTM结构示意图二者的具体实现如下# 导入Pytorchimport torchimport torch.nn as nn# 定义GRU层，voc...
《PyTorch深度学习实践》第十二课（循环神经网络RNN）
falldeep的算法世界
09-01 1470
要把inputs和labels重新view，-1为自适应inputs的格式为（seqlen， batchsize， inputsize）lables的格式为 （seqlen，1）seqlen其实就是循环次数。
【深度学习理论】(6) 循环神经网络 RNN
博观而约取，厚积而薄发
06-23 2604
今天和各位分享一下处理序列数据的循环神经网络RNN的基本原理，并用 Pytorch 实现 RNN 层和 RNNCell 层。之前的博文中已经用过循环神经网络做过许多实战案例，感兴趣的可以看我这个专栏：https://blog.csdn.net/dgvv4/category_11712004.html在循环神经网络中，序列数据的 shape 通常是 [batch, seq_len, feature_len]，其中 seq_len 代表特征的个数，feature_len 代表每个特征的表示方法。对于自然...
第四章 向量、矩阵和数组
m0_65523585的博客
03-04 525
R的基本学习 向量框 数组（矩阵），列表，数据框 1.创建 c vector 2.访问：索引，切片x[5],x[1:5],x[-2],x[T,F,F],x['apple'] 3.运算+-*/ 4.方法seq length 5.特殊函数rep
transformer中seq_len参数的设置
yuweififi的专栏
02-26 474
seq_len表示输入到 Transformer 模型中的序列所允许的最大长度。在自然语言处理任务里，文本会被拆分成一个个的单词、子词或者字符，这些元素构成了一个序列。seq_len就是对这个序列中元素数量的上限规定，它决定了模型输入和输出的维度。
关于dynamic_rnn中seq_length参数
sinat_28375239的博客
05-27 885
关于dynamic_rnn中sequence_length参数的解释 https://zhuanlan.zhihu.com/p/51860702 https://blog.csdn.net/qq_34430032/article/details/82840834
seq_len序列长度
02-28
### seq_len 参数的含义 在深度学习中的自然语言处理任务里，`seq_len` 表示输入到模型中的序列长度。这个参数定义了每次传递给神经网络的数据片段有多长。对于文本数据而言，这通常意味着句子或文档中连续字符的数量或是标记化后的词汇数量[^1]。 ### 设置 `seq_len` 的方法及其影响 当构建循环神经网络 (RNN)，长短时记忆网络 (LSTM)，门控循环单元 (GRU) 或者 Transformer 架构来处理时间序列或者文本数据时，设定合适的 `seq_len` 是至关重要的： - **较短的 `seq_len`**: 可能会丢失上下文信息，因为模型只看到非常局部的内容；然而这样做减少了内存消耗并加快训练过程。 - **较长的 `seq_len`**: 能够捕捉更广泛的依赖关系，但是增加了计算复杂性和潜在梯度消失问题的风险，同时也可能需要更多的GPU/CPU资源以及更大的批量大小(batch size). ### 使用代码实例展示如何配置 `seq_len` 下面是一个简单的例子，在 PyTorch 中创建了一个 LSTM 模型，并设置了特定的 `seq_len`: ```python import torch from torch import nn class LSTMSentiment(nn.Module): def __init__(self, vocab_size, embed_dim=300, hidden_dim=256, output_dim=1, n_layers=2, bidirectional=True, dropout=0.5, pad_idx=1, seq_len=50): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=pad_idx) self.lstm = nn.LSTM(embed_dim, hidden_dim, num_layers=n_layers, bidirectional=bidirectional, batch_first=True, dropout=dropout if n_layers > 1 else 0) self.fc = nn.Linear(hidden_dim * 2 if bidirectional else hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) def forward(self, text): # shape of text: [batch_size, seq_len] embedded = self.dropout(self.embedding(text)) # [batch_size, seq_len, emb_dim] outputs, (hidden, cell) = self.lstm(embedded) # outputs shape: [batch_size, seq_len, hid_dim*num_directions] # hidden and cell shapes are both [num_layers*num_directions,batch_size,hid_dim] hidden = self.dropout(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1)) return self.fc(hidden.squeeze(0)) # 创建模型实例 model = LSTMSentiment(vocab_size=10000, seq_len=50).to('cuda' if torch.cuda.is_available() else 'cpu') ``` 在这个例子中，`seq_len` 设定为 50，这意味着每个批次传入模型的文字序列将由最多 50 个单词组成。如果实际文本超过此长度，则会被截断；反之则填充至该长度。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值