对于LSTM可能的一些误解以及其参数个数的计算

最新推荐文章于 2023-03-30 16:40:15 发布
最新推荐文章于 2023-03-30 16:40:15 发布
阅读量934 收藏 3
点赞数 2
分类专栏： 深度学习 文章标签： lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32846595/article/details/105272364
版权

LSTM作为RNN的一种，在计算其参数的时候可能会有一些错误的理解。如果对于参数计算过程不理解，那么对网络可能也并不是很理解。如图   
 

 上图是一个简单RNN的示意图，为了方便理解，都会画成下面的形式

这样就会造成一些误解，将RNN理解为t个不同的模块，并且错误的认为每个模块有不同的参数。其实这里的RNN就只有一个模块。其余的是时间线上的展开。LSTM也类似

上图也是时间线上的展开，不是有三个不同的lstm模块。所以这些模块的参数是相同的。

那什么时候会有多个lstm模块呢？只有当多层lstm出现的时候才会有更多的参数出现。

计算可以参考知乎上的一篇回答：https://www.zhihu.com/question/263700757

截图如下

寰宇的行者
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
灰狼算法优化LSTM超参数-神经元个数-dropout-batch-size
02-19
灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 博客：https://data-mining.blog.csdn.net/article/details/127819862 1、摘要 本文主要讲解：使用灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size ...
LSTM的输入参数和输出参数
weixin_43468880的博客
05-25 3610
4.batch_first：默认为False，在制作数据集和数据集载入的时候，有个参数叫batch_size，也就是一次输入几个数据，lstm的输入默认将batch_size放在第二维，当为True的时候，则将batch_size放在第一维。1.input_size：输入的特征维度，一般来说就是字向量的维度，比如如果用bert(base)的话，那么输入的维度input_size=768。3.num_layers：很好理解，就是LSTM 堆叠的层数,默认值为1，设置为2的时候，第一层的输出是第二层的输入。
对于LSTM输入层、隐含层及输出层参数的个人理解
热门推荐
二次元代码屋
03-29 9万+
LSTM输入层要求的维度是三维的，其中包含三个参数:batch_size, input_dim和time_step。隐含层有一个参数：n_hidden。输出层有两个参数：n_hidden和output_dim。下面举两个例子：利用LSTM识别MNIST手写数字集和LSTM时间序列分析，谈谈个人对这些参数含义的理解。 1. 利用LSTM识别MNIST手写数字集 n_input = 28 #...
LSTM(长短记忆网络)
weixin_46297209的博客
03-22 1291
LSTM(长短记忆网络) 一：LSTM简介 ​ 传统的循环网络RNN可以通过记忆体实现短期记忆进行连续数据的预测，但是当连续数据的序列变长时，会使时间展开步更长，在反向传播更新参数时，梯度要按时间步连续相乘，会导致梯度消失，所以出现了长短记忆网络。长短记忆网路引入了如下概念： 输入门(门限)：it = α(Wi[ht-1,xt] + bi) 遗忘门(门限)：ft = α(Wj[ht-1,xt] + bf) 输出门(门限)：ot = α(Wo[ht-1,xt] + bo) 细胞态(长期记忆)：
LSTM的输入格式和输出个数说明
weixin_45063703的博客
08-26 1万+
最近使用LSTM 神经网络进行预测的时候，突然发现对其输入输出不是很清晰，照着大佬们的改改还行，不能深入了解，有点难受呀。下面简单介绍一下。不同预测方式的数据格式要相对应改变LSTM对应数据要正确，其实有些地方对不上的话，也不影响代码正常运行，但是要科学对待。
lstm原理_TF2.0SimpleRNN，LSTM长短期记忆网络，GRU网络的原理，实践：股价预测
weixin_39777967的博客
11-25 1155
引言&目录 引言：在TF2.0-RNN原理和实践：循环核→循环神经网络【循环核按时间步骤打开】+字母预测实践【one-hot或Embedding】中，我们了解到了传统RNN的基本原理和组成，使用的是tf.keras.layers.SimpleRNN()，提出了SimpleRNN，tf.keras还给我们提供了另外两个可用循环层：LSTMGRU问题一：SimpleRNN...
SSA-LSTM麻雀算法优化LSTM超参数-优化神经网络神经元个数-dropout-batch-size
02-18
本文主要讲解：使用SSA麻雀算法-LSTM-优化神经网络神经元个数-dropout-batch_size 主要思路： SSA Parameters ：优化函数、粒子数量、搜索维度、迭代次数 LSTM Parameters 神经网络第一层神经元个数、神经网络第二...
code _lstm-ga_优化LSTM_遗传算法GA优化LSTM网络参数_优化LSTM_LSTM优化_
10-04
这些参数可能包括LSTM的隐藏单元数量、学习率、批大小、dropout比例等。 2. 评估适应度：使用选定的适应度函数（如交叉验证的准确性或AUC值）评估每组超参数对LSTM模型性能的影响。 3. 选择操作：根据适应度函数的...
基于lstm神经网络实现虚拟机实例个数预测.zip
最新发布
05-22
它像一个传送带一样，在整个链上运行，只有一些小的线性交互。信息很容易地在其上保持不变。 输入门（Input Gate）：输入门决定了哪些新的信息会被加入到记忆单元中。它由当前时刻的输入和上一时刻的隐藏状态共同...
基于pytorch的lstm参数使用详解
09-18
在PyTorch中，LSTM（Long Short-Term Memory）是一种常用的递归神经网络结构，特别适合处理序列数据，如自然语言。LSTM通过引入门控机制来解决传统RNN的梯度...理解这些参数对于有效地利用PyTorch中的LSTM至关重要。
第六讲-循环神经网络（RNN）及变体LSTM
LOVEYSUXIN的专栏
12-23 1375
1、卷积神经网络（CNN）与循环神经网络(RNN)的简单对比: CNN:借助卷积核（kernel）提取特征后，送入后续网络（如全连接网络Dense）进行分类、目标检测等操作。CNN借助卷积核从空间维度提取信息，卷积核参数空间共享。 RNN：借助循环核（cell）提取特征后，送入后续网络进行预测等操作。RNN借助循环核从时间维度提取信息，循环核参数时间共享。 循环核 循环核具有记忆力，通过不同时刻的参数共享，实...
lstm中numHiddenUnits数目怎么确定呢
xuanbao516的博客
03-30 1053
假设此时堆栈单词“t0”是网络的输入。单词"stack“在输入到网络之前将被解码成某种一维矢量形式。假设向量大小为10，则隐藏单元的数量将为10。简而言之，隐藏单元的数量等于向量维度。LSTM通常用于我们处理序列的地方。假设您提供了一个英语句子作为LSTM网络的输入。在这里，输入将逐字传递到网络，而不是同时传递整个句子。那我怎么知道自己模型中隐藏单元数量具体是多少呢？还是说基本上都取10呢。以下是我看到的一个解释。
LSTM参数理解
xinyihhh的博客
12-23 5760
LSTM(units, input_shape=(window, feanum), return_sequences=True/False) 1.units:指的并不是一层LSTM有多少个LSTM单元,实际代表的是LSTM单元内的隐藏层的尺寸；对于LSTM而言，每个单元有3个门，对应了4个激活函数（3个sigmoid,一个tanh）。假如units=32，也就是说有4个神经元数量为32的前馈网络层。 计算过程：假如序列长度为5（5个时间点），维度为10（每个时间点的特征数量），对于任意一个时间点1×10
LSTM参数个数计算
taoyafan的博客
09-21 2万+
今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层： （1）第一层是一个 embedding 层，输出是 100 维的。 （2）第二层是一个 LSTM 层，输出是 512 维的。 LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式： 设 LSTM 输入维度为 x_dim， 输...
LSTM的参数量计算
cz的博客
06-22 2409
LSTM里面的参数量
如何计算 LSTM 的参数量
Alan Lee
10-24 6249
理论上的参数量 之前翻译了 Christopher Olah 的那篇著名的 Understanding LSTM Networks，这篇文章对于整体理解 LSTM 很有帮助，但是在理解 LSTM 的参数数量这种细节方面，略有不足。本文就来补充一下，讲讲如何计算 LSTM 的参数数量。 建议阅读本文前先阅读 Understanding LSTM Networks 的原文或我的译文。 首先来回顾下 LSTM。一层 LSTM 如下： 这里的 xtx_txt​ 实际上是一个句子的 embedding（不考虑
长短期记忆网络(LSTM)
xi_xiyu的博客
01-26 2494
一．摘要 门控制循环单元是为了解决循环神经网络短期记忆问题提出的解决方案，它们引入称作“门”的内部机制，可以调节信息流。在上次的内容分享中，我们简单解析了名称为GRU的门控制循环单元。因为“门”的机制，我们还可以在此基础上创新出性能更优的循环单元。本次分享的内容也是基于GRU循环单元的强化版：长短期记忆网络(long short-term memory，LSTM)门控制循环单元。 图1 ：LSTM和GRU结构图 二．长短期记忆(LSTM) 通过图1可以很明显的发现LSTM比GRU“门”的数量..
Keras关于LSTM的units参数，还是不理解?
03-06 2万+
LSTM(units,input_shape(3,1)),这里的units指的是cell的个数么？如果是，按照LSTM原理这些cell之间应该是无连接的，那units的多少其意义是什么呢，是不是相当于MLP里面对应隐层的神经元个数，只是为了扩展系统的输出能力？ 作者：lonlon ago 链接：https://www.zhihu.com/question/64470274/answer/2563...
LSTM需要学习的参数个数
Songerggggggg的博客
03-05 2751
我们知道输入一个28维的向量，会映射到128维来进行表示， 输出ht和记忆ct维度相同。 下面我们假设有13*5大小的图片，放进LSTM，隐含层神经元数量为10 ht-1 是上一时刻的输出，维数与隐含层神经元数量一致：1*10 xt为1*5 所以[ ht-1 , xt ] 的维数是1*15 又因为激活函数不改变位数维数，所以我们不必考虑 Wf bf 为该层的参数，Wf...
CNN_LSTM对于时间序列较好的参数
09-25
关于 CNN_LSTM 对于时间序列的最佳参数，没有一个固定的答案，因为它取决于时间序列数据的具体特征和问题的要求。一般来说，需要进行多次试验并使用交叉验证来选择最佳参数。你可以考虑以下几个方面来确定参数： 1....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寰宇的行者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值