LSTM需要学习的参数个数

最新推荐文章于 2024-08-25 13:53:44 发布

Songer-phil

最新推荐文章于 2024-08-25 13:53:44 发布

阅读量2.7k

点赞数 2

本文链接：https://blog.csdn.net/Songerggggggg/article/details/104668637

版权

本文介绍了如何计算LSTM网络中需要学习的参数数量。通过一个实例，详细解析了输入28维向量映射到128维，以及处理13*5大小图片时，隐藏层神经元为10的LSTM单元的参数计算过程，最终得出LSTM所需学习的参数总数为640个。

摘要由CSDN通过智能技术生成

结论先行：

lstm所需学习的参数 = 4 * [（ input_size + hidden_num ）* hidden_num + hidden_num ]

我们知道输入一个28维的向量，会映射到128维来进行表示，

输出ht和记忆ct维度相同。

下面我们假设有13*5大小的图片，放进LSTM，隐含层神经元数量为10

ht-1 是上一时刻的输出，维数与隐含层神经元数量一致：1*10

xt为1*5 所以[ ht-1 , xt ] 的维数是1*15

又因为激活函数不改变位数维数，所以我们不必考虑

Wf bf 为该层的参数，Wf 与 [ ht-1 , xt ] 相乘得到 1*10的向量

所以可以得出 Wf 的维数是 15*10 即：Wf × [ ht-1 , xt ] = 15*10 × 1*15 = 1*10

所以参数个数为Wf + bf = 15*10 + 10 = 160个

剩下的操作与这个遗忘门的操作在参数数量上相同

故 LSTM的所需学习参数个数为 160*4 = 640个

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Songer-phil

关注关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

DL之模型调参：深度学习LSTM算法超参数调优—可视化loss和acc曲线、判断过拟合、逐个参数讲解(神经元个数+隐藏层个数+权重初始策略+激活函数、优化器+学习率+批大小+正则化策略+epoch)

近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…

03-13

1万+

DL之模型调参：深度学习LSTM算法超参数调优—可视化loss和acc曲线、判断过拟合、逐个参数讲解(神经元个数+隐藏层个数+权重初始策略+激活函数、优化器+学习率+批大小+正则化策略+epoch) 目录基于keras对LSTM算法进行超参数调优相关文章 DL之模型调参：深度学习算法模型优化参数之对深度学习模型的超参数采用网格搜索进行模型调优(建议收藏) DL之模型调参：深度学习算法模型优化参数之基于keras对LSTM算法进行超参数调优基于keras对LS

LSTM时间序列预测：3648个数据，预测第3649-3655个数据

m0_53306549的博客

05-23

3890

LSTM时间序列预测文章目录前言一、具体步骤1.导包、读取文件2.和上一篇的步骤一3.新预测，向下预测7步4.画图疑惑点前言 lstm怎样实现对未来值的预测？所拥有的数据共3648个值，目标是继续向下预测3649，3650… 今天上午学习了https://blog.csdn.net/xspyzm ‘import_torch_as_tf’ 这位大佬写的。总体思路就是：100个值预测一个，最后100个用做新的数据集再向下预测，预测一个添加到新数据集里，再向下预测一个。一、具体步骤 1.导包、读取文件

参与评论您还未登录，请先登录后发表或查看评论

LSTM参数个数计算

taoyafan的博客

09-21

2万+

今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层：（1）第一层是一个 embedding 层，输出是 100 维的。（2）第二层是一个 LSTM 层，输出是 512 维的。 LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式：设 LSTM 输入维度为 x_dim，输...

毕业设计 LSTM天气预测算法系统

最新发布

jdkfsh的博客

08-25

917

数据集包含14个不同的特征，例如气温，大气压力和湿度。从2003年开始，每10分钟收集一次。为了提高效率，本文仅使用2009年至2016年之间收集的数据。** 加载数据集**如上所示，每10分钟记录一次观测值，一个小时内有6个观测值，一天有144（6x24）个观测值。给定一个特定的时间，假设要预测未来6小时的温度。为了做出此预测，选择使用5天的观察时间。因此，创建一个包含最后720（5x144）个观测值的窗口以训练模型。下面的函数返回上述时间窗以供模型训练。参数是过去信息的滑动窗口大小。

LSTM的参数数量如何计算？

taoqick的专栏

01-01

8080

谢邀。首先，原文中提到，在encoder与decoder上都使用了4层的LSTM. 可以首先计算LSTM的参数数量. 那么, 一个LSTM有多少个参数呢? 首先,文中提到LSTM在每层使用了1000个cell(对应于与的维度)与大小为1000的word embedding(最底层LSTM的输入大小等于word embedding的维度大小,其他层LSTM的输入大小等于上一层的维度大小,...

如何计算 LSTM 的参数量

Alan Lee

10-24

6295

理论上的参数量之前翻译了 Christopher Olah 的那篇著名的 Understanding LSTM Networks，这篇文章对于整体理解 LSTM 很有帮助，但是在理解 LSTM 的参数数量这种细节方面，略有不足。本文就来补充一下，讲讲如何计算 LSTM 的参数数量。建议阅读本文前先阅读 Understanding LSTM Networks 的原文或我的译文。首先来回顾下 LSTM。一层 LSTM 如下：这里的 xtx_txt 实际上是一个句子的 embedding（不考虑

Keras关于LSTM的units参数

南七小僧的学海无涯

10-30

1949

这个问题也困扰了我很久，后来终于明白了，很多资料都没有在这个地方做详细的解释，那就是LSTM的小区里面的num_units该怎么理解，其实也是很简单，看看下图：可以看到中间的cell里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1,2,4的激活函数是si...

code _lstm-ga_优化LSTM_遗传算法GA优化LSTM网络参数_优化LSTM_LSTM优化_

10-04

然而，LSTM网络的性能很大程度上取决于其内部的超参数设置，包括隐藏层大小、学习率、dropout比例等。手动调整这些参数往往耗时且效果难以保证。为了解决这个问题，可以采用优化技术，如遗传算法（Genetic Algorithm...

lstm需要优化的参数_基于LSTM循环神经网络的主机健康度预测

weixin_39524703的博客

11-20

2438

伴随企业业务的不断扩大，业务IT支撑系统规模及平台组件架构数量对应激增，其中作为基础资源之一的主机数量也程指数级增加，与此同时业务对系统资源的需求和敏感度也伴随业务规模的增加而越发的苛刻。运维团队对系统可用性的保障也如履薄冰，每一个可能的异常情况都应该被及时发现，及时响应，及时处理，以保障系统和服务的稳定高效运行，给客户良好的使用体验。为了保障基础资源之一主机的稳定可靠，笔者对运行中的主...

lstm需要优化的参数_香侬读 | 形变LSTM（Mogrifier LSTM）

weixin_39748183的博客

11-20

1091

论文标题：Mogrifier LSTM论文作者：Gábor Melis, Tomáš Kočiský, Phil Blunsom论文链接：https://openreview.net/forum?id=SJe5P6EYvS收录情况：ICLR 2020 (Oral)本文提出形变LSTM(Mogrifier LSTM)，在普通LSTM上稍作修改，令输入和状态首先进行多轮交互，再送入到LSTM...

超参数调整确定神经网络中隐藏层的数量

02-22

超参数调整确定神经网络中隐藏层的数量

LSTM官方训练样本数据imdb.pkl

11-04

Theano中LSTM官方教程例子中的数据imdb.pkl

LSTM参数详解

001

02-16

2049

LSTM（长短期记忆网络）是一种特殊类型的循环神经网络（RNN），主要用于处理和预测序列数据的重要模型。

LSTM的参数量计算

cz的博客

06-22

2436

LSTM里面的参数量

关于LSTM的神经元数及参数个数

热门推荐

Hello_word5的博客

03-30

2万+

先上经典的LSTM结构 1、首先 tf.nn.rnn_cell.BasicLSTMCell(num_units=n)中的参数num_units指的是什么？上图中一个浅绿色大框框起来的我们暂时叫一个LSTM_Cell,我们可以看到一个LSTM_Cell中有四个基本的神经网络Cell(即四个黄色的小框)，每个小框可以说存放的是个向量，且四个框中向量长度相同，这个相同的向量长度便是num_un...

如何计算LSTM层中的参数数量

deephub

06-08

3016

长短期记忆网络（通常称为“ LSTM”）是一种特殊的RNN，经过精心设计LSTM能够学习长期的依赖。正如他的名字，它可以学习长期和短期的依赖。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XBWfMw3m-1654652997806)(http://images.overfit.cn/upload/20220608/e0bf6118d79e4b759a3de0c16696b4f9.png)]每个LSTM层都有四个门：下面计算一个LSTM单元的参数：每一个lstm的操作都是线性

LSTM(长短时记忆网络)原理、pytorch实现、参数量分析以及应用场景简单总结

HUSTHY的博客

03-10

7412

RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问...

bp神经网络隐含层神经元个数_LSTM 实际神经元隐含层物理架构原理解析

weixin_39864601的博客

11-28

2454

LSTM模型的参数设置

05-15

LSTM模型是一种常用的循环神经网络模型，它可以很好地解决长序列数据的建模问题。在LSTM模型中，参数设置对模型的性能有很大影响。以下是LSTM模型中的一些重要参数： 1. 隐藏状态的维度：这个参数决定了LSTM模型中隐藏状态的维度，也就是模型中神经元的数量。一般情况下，隐藏状态的维度越大，模型的表达能力越强，但是也会增加计算复杂度和参数数量。 2. LSTM层的数量：LSTM模型可以包含多层LSTM结构，这个参数决定了LSTM层数。一般情况下，增加LSTM层数可以提高模型的表达能力，但是也会增加计算复杂度和训练难度。 3. Dropout概率：Dropout是一种常用的正则化方法，可以减少过拟合。在LSTM模型中，可以在输入和输出层之间添加Dropout层来减少过拟合。这个参数决定了Dropout层的保留概率。 4. 批量大小：批量大小是指每次迭代训练时用到的样本数量。一般情况下，批量大小越大，训练速度越快，但是也会增加内存占用和计算负担。 5. 学习率：学习率是指每次迭代时更新权重参数的步长。一般情况下，学习率越小，模型训练越稳定，但是也会增加训练时间。 6. 序列长度：序列长度是指输入到LSTM模型中的序列长度。一般情况下，增加序列长度可以提高模型的表达能力，但是也会增加计算复杂度和训练难度。