全面理解LSTM网络及输入，输出，hidden_size等参数

最新推荐文章于 2024-08-11 12:10:46 发布
最新推荐文章于 2024-08-11 12:10:46 发布
阅读量6.2w 收藏 460
点赞数 116
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40728805/article/details/103959254
版权
本文详细介绍了LSTM网络的工作原理，包括其与RNN的区别、LSTM的结构、输入输出机制以及hidden_size的概念。LSTM通过输入门、遗忘门和输出门来控制长期和短期记忆，其cell状态c^t和隐藏状态h^t在信息传递中起关键作用。多层LSTM的输出取决于最后的时序步骤，可用于后续的分类任务。
摘要由CSDN通过智能技术生成

全面理解LSTM网络及输入，输出，hidden_size等参数

LSTM结构(右图)与普通RNN(左图)的主要输入输出区别如下所示
在这里插入图片描述

相比RNN只有一个传递状态h^t, LSTM有两个状态，一个c^t(cell state)理解为长时期记忆，和一个h^t(hidden state)理解为短时强记忆。

其中对于传递下去的c^t 改变得很慢，通常输出的c^t 是上一个状态传过来的c^(t-1)加上一些数值。主要是用来保存节点传递下来的数据的，每次传递会对某些维度进行“忘记”并且会加入当前节点所包含的内容，总的来说还是用来保存节点的信息，改变相对较小。 而h^t 则主要是为了和当前输入组合来获得门控信号，对于不同的当前输入，传递给下一个状态的h^t区别也会较大。

深入LSTM结构
在这里插入图片描述

首先使用LSTM的当前输入x^t 和上一个状态传递下来的h^(h-1)拼接训练得到四个状态值
在这里插入图片描述

对应上面手画草图理解，通过将输入x^t 和上个时刻隐状态h^(t-1)拼接后乘以权重参数，再通过sigmoid激活函数转换到0到1间的数值，来作为一种门控状态值。而 z, 则是将结果通过一个 tanh激活函数将转换成-1到1之间的值。其中W, W^i, W^f, W^o 就是模型要学习的权重参数，x^t的维度自定义，在NLP中即就是词向量的维度，每一列代表一个词向量，维度自定义。矩阵的列数为一个句子的token个数，也是time_step length。每个sentence的每个token的embedding(词向量)对应了每个时序 t 的输入。如output, (hn, cn) = lstm(input, (h0, c0))，time_step=1时，input为第一个词的词向量，词向量中的每一个元素对应输入层的每个节点（每个神经元），常看到

最低0.47元/天 解锁文章
豆豆小朋友小笔记
关注
专栏目录
DeepLearning之LSTM模型输入参数：time_step, input_size, batch_size的理解
01-20
1. LSTM模型 输入参数理解 （Long Short-Term Memory） lstm是RNN模型的一种变种模式，增加了输入门，遗忘门，输出门。 LSTM也是在时间序列预测中的常用模型。 小白我也是从这个模型入门来开始机器学习的坑。 LSTM的基本概念与各个门的解释已经有博文写的非常详细：推荐博文:【译】理解LSTM（通俗易懂版） 这篇文章写的非常详细，生动，概念解释的非常清楚。我也是从这个博文里开始理解的。 2. 模型参数 模型的调参是模型训练中非常重要的一部分，调整参数前的重要一步就是要理解参数是什么意思，才能帮助更好的调整参数。 但是发现在一些实战模型将代码直接放在那里，但是基本
lstm网络_LSTM网络理解及其参数计算
weixin_39669638的博客
11-20 1261
前篇文章我们讲过RNN网络，RNN网络可以理解当前任务以前的信息，但是却不能长期记忆，比如在经过4-5个神经元网络的计算之后，包留之前信息的权重就变得很小。之前信息对当前信息的影响就变得很小。这个时候就可以用到LSTM（Long Short Term）网络，相比于RNN网络，他可以更好的记住很久之前我们需要的信息。RNN展开 LSTM 由Hochreiter & Schmidh...
神经网络之lstm
最新发布
零度°C的博客
08-11 4252
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊类型的循环神经网络（RNN），由 Hochreiter 和 Schmidhuber 于 1997 年提出。LSTM 旨在解决传统 RNN 在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM 网络的核心是三个门的机制：遗忘门（forget gate）、输入门（input gate）、输出门（output gate）。这些门通过自适应的方式控制信息的流动，从而实现对长期依赖信息的捕捉。
PyTorch 中的 LSTM模型参数解释
热门推荐
rogerfang的博客
11-25 6万+
LSTM的参数解释 LSTM总共有7个参数：前面3个是必须输入的 1：input_size: 输入特征维数，即每一行输入元素的个数。输入是一维向量。如：[1,2,3,4,5,6,7,8,9]，input_size 就是9 2：hidden_size: 隐藏层状态的维数，即隐藏层节点的个数，这个和单层感知器的结构是类似的。这个维数值是自定义的，根据具体业务需要决定，如下图： input_...
lstm需要优化的参数_LSTM的物理结构和一些细节
weixin_39969257的博客
11-20 3812
海晨威：一幅图真正理解LSTM的物理结构​zhuanlan.zhihu.com这个是网上看的最多的图了，但是在理解lstm的应用过程中的时候这个图带来了不少麻烦。展开之后实际的物理结构是这样的，1、2图同颜色的点代表了同一个东西；问题1：这里的输入xt和ht是怎么结合的？比如：这块儿很多地方都没讲清楚，实际上就是concat，直接concat起来了：问题2：LSTM的权重到底是啥样的？这里直接以t...
机器学习-LSTM中的几个参数理解
木子山石的学习笔记
12-21 3103
LSTM参数
LSTM层输出中output和hidden
l_aiya的博客
08-18 1406
LSTM层输出中output和hidden
LSTM输入输出各参数
tangweirensheng的博客
12-07 3629
torch.nn.LSTM(*args, kwargs)** 参数 – input_size – hidden_size – num_layers – bias – batch_first – dropout – bidirectional LSTM的输入 input, (h_0, c_0) – input (seq_len, batch, input_size) – h_0 (num_layers * num_directions, batch, hidden_size) # 初始的隐藏状态 – c_.
pytorch lstm input_size, hidden_size说明
蓝羽飞鸟的博客
08-20 2万+
了解了LSTM原理后，一直搞不清Pytorch中input_size, hidden_size和output的size应该是什么，现整理一下 假设我现在有个时间序列，timestep=11, 每个timestep对应的时刻上特征维度是50， 那么input_size就是50 然后说hidden_size 截知乎一个图比较好理解 hidden_size就是黄色圆圈，可以自己定义，假设现在定义hidden_size=64 那么output的size又是多少 再截上面知乎的一个图 可以看到output是最后一
LSTM中的hidden_size/input_size/time_step/batch_size的理解
weixin_45032780的博客
04-24 1万+
LSTM模块的实现 最近在尝试实现一个简单的LSTMCell，源码中看似只是简单地调用一下： tf.contrib.rnn.BasicLSTMCell() 实际上包含了很多没有弄明白地方。我想把这个学习过程完整地记录一遍。 首先，构建LSTM单元需要导入： import tensorflow as tf import numpy as np 还是看看输入到底是什么 上周的报告已经提到，LSTM...
LSTM的输入参数和输出参数
weixin_43468880的博客
05-25 3631
4.batch_first：默认为False，在制作数据集和数据集载入的时候，有个参数叫batch_size，也就是一次输入几个数据，lstm的输入默认将batch_size放在第二维，当为True的时候，则将batch_size放在第一维。1.input_size：输入的特征维度，一般来说就是字向量的维度，比如如果用bert(base)的话，那么输入的维度input_size=768。3.num_layers：很好理解，就是LSTM 堆叠的层数,默认值为1，设置为2的时候，第一层的输出是第二层的输入。
Understanding LSTM Networks——理解LSTM网络
程序员光剑
09-04 1209
LSTM (Long Short-Term Memory) 是一种基于RNN (Recurrent Neural Network) 的循环神经网络，其目的是解决长期依赖的问题。它使用门结构来控制信息流的通道，并将这种结构与记忆细胞一起组合在一起，以更好地学习长期依赖的信息。通过引入LSTM，可以有效地解决梯度消失和梯度爆炸的问题，进而提高模型训练的效率。本文通过对LSTM网络的基本原理、结构、算法等进行系统性阐述，力求让读者能对LSTM网络有一个清晰、全面和易于理解的认识。
深入剖析多层双向LSTM的输入输出
⚡
08-13 4947
本文将结合官方文档并以seq2seq模型为例全面展示在多层双向LSTM中输入输出的形状变化以及如何正确使用它们。
lstm有哪些超参数
07-27
- *1* *2* *3* [全面理解LSTM网络及输入，输出，hidden_size等参数](https://blog.csdn.net/qq_40728805/article/details/103959254)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{...
对于LSTM参数的理解
weixin_48653606的博客
07-13 389
记录对于LSTM输入参数的理解。
pytorch中LSTM参数详解（一张图帮你更好的理解每一个参数）
wfj的博客
05-23 2万+
对LSTM网络的理解 对LSTM网络不理解的请看这篇博客，对新手比较友好，也很容易理解，只有理解了LSTM，才知道下面要讲的参数分别对应什么 LSTM参数列表 Pytorch中创建一个LSTM网络，参数列表如下： 参数 解释 input_size 输入数据的特征维数 hidden_size LSTM中隐层的维度 num_layers 循环神经网络的层数 bias 用不用偏置，default=True batch_first 这个要注意，通常我们输入的数据shape=(batc
超平实版Pytorch LSTM模块输入输出以及参数详解
狗狗狗大王的博客
06-17 3546
本篇文章包含什么？ 本篇文章侧重于Pytorch实践过程中对LSTM的使用，主要讲解torch.nn.LSTM输入和输出的内容，不包含LSTM的原理和细节。 LSTM作用在什么上？ LSTM是作用在==一整个序列(sequence)==上的。也就是说，我们输入的是一整个串S，LSTM层会对里面的每一个小单位(element)x进行LSTM操作。 （注意：此处我们以大写S表示整个串，小写x表示串中的某个单位。以一个句子为例，整个句子是S，每一个单词是一个x。） 在每一个单词x上会发生什么？ 你可以这样理解，每
PyTorch框架的中LSTM的输入和输出
qq_38633279的博客
11-02 2933
input_size:输入数据的特征维度，（单变量=1,embedding=【词向量的表示维度】）hidden_size:LSTM隐层的维度num_layers:循环神经网络的层数 1或者2batch_first:通常默认为False，输入的数据shape=(time_steps,batch_size,embedding)batch_first=True,则输入的数据shape=(batch_size,time_steps,embedding)
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值