LSTM的参数数量如何计算？

最新推荐文章于 2022-06-22 18:36:02 发布
最新推荐文章于 2022-06-22 18:36:02 发布
阅读量8k 收藏 9
点赞数
分类专栏： 算法 机器学习

谢邀。首先，原文中提到，在encoder与decoder上都使用了4层的LSTM. 可以首先计算LSTM的参数数量. 那么, 一个LSTM有多少个参数呢? 首先,文中提到LSTM在每层使用了1000个cell(对应于 h_{t} 与 C_{t},\tilde{C}_{t} 的维度)与大小为1000的word embedding(最底层LSTM的输入大小等于word embedding的维度大小,其他层LSTM的输入大小等于上一层 h_{t} 的维度大小,在这里均为1000). 那么就可以计算LSTM的参数个数了:

(1) f_{t}=\sigma(W_{f}*[h_{t-1},x_{t}]+b_{f})\ \ \ \ \ \ W_{f}\in\mathbb{R}^{1000\times2000}, b_{f}\in\mathbb{R}^{1000}

(2) i_{t}=\sigma(W_{i}*[h_{t-1},x_{t}]+b_{i})\ \ \ \ \ \ W_{i}\in\mathbb{R}^{1000\times2000}, b_{i}\in\mathbb{R}^{1000}

(3) \tilde{C}_{t}=tanh(W_{C}*[h_{t-1},x_{t}]+b_{C})\ \ \ \ \ \ W_{C}\in\mathbb{R}^{1000\times2000}, b_{C}\in\mathbb{R}^{1000}

(4) C_{t}=f_{t}\odot C_{t-1}+i_{t}\odot\tilde{C}_{t}

(5) o_{t}=\sigma(W_{o}*[h_{t-1},x_{t}]+b_{o})\ \ \ \ \ \ W_{o}\in\mathbb{R}^{1000\times2000}, b_{o}\in\mathbb{R}^{1000}

(6) h_{t}=o_{t}\odot tanh(C_{t})

因此,可以看到,每个LSTM 有 (1000\times 2000+1000)\times 4\approx8M 个参数. 编码器具有4个LSTM,解码器具有4个LSTM,因此共有 8M\times 4+8M\times 4=64M 个参数.

至于 384M 中其他的 320M 参数,则主要是来自于解码时从隐层状态到80000个词之间的映射( 80000\times 4000=320M , 其中4000等于解码器四层LSTM的 h_{t} 的连接).

至于使用8000个实数来表示句子,实际上对应于编码器每层LSTM最终时间步的的cell state与hidden state,因此共有 (1000+1000)\times 4=8000 个实数.



作者：孙建东
链接：https://www.zhihu.com/question/263700757/answer/272342413
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

taoqick
关注
专栏目录
LSTM需要学习的参数个数
Songerggggggg的博客
03-05 2754
我们知道输入一个28维的向量，会映射到128维来进行表示， 输出ht和记忆ct维度相同。 下面我们假设有13*5大小的图片，放进LSTM，隐含层神经元数量为10 ht-1 是上一时刻的输出，维数与隐含层神经元数量一致：1*10 xt为1*5 所以[ ht-1 , xt ] 的维数是1*15 又因为激活函数不改变位数维数，所以我们不必考虑 Wf bf 为该层的参数，Wf...
小白循环神经网络RNN LSTM 参数数量 门单元 cell units timestep batch_size
persistinlife的专栏
05-24 3365
小白循环神经网络RNN LSTM 参数数量 门单元 cell units timestep batch_size RNN循环神经网络 timestep batch_size LSTM及参数计算 keras中若干个Cell例如LSTMCell 1.RNN循环神经网络 先来解释一下 batch_size timestep 样本数据： 小明爱学习 小王爱学习 小李爱学习 小花爱学习 通常样本数据会以(batch_size, time_step, embedding_size)送入模型，对应的可以是（4
如何计算 LSTM 的参数量
Alan Lee
10-24 6288
理论上的参数量 之前翻译了 Christopher Olah 的那篇著名的 Understanding LSTM Networks，这篇文章对于整体理解 LSTM 很有帮助，但是在理解 LSTM 的参数数量这种细节方面，略有不足。本文就来补充一下，讲讲如何计算 LSTM 的参数数量。 建议阅读本文前先阅读 Understanding LSTM Networks 的原文或我的译文。 首先来回顾下 LSTM。一层 LSTM 如下： 这里的 xtx_txt​ 实际上是一个句子的 embedding（不考虑
如何计算LSTM层中的参数数量
deephub
06-08 3014
长短期记忆网络（通常称为“ LSTM”）是一种特殊的RNN，经过精心设计LSTM能够学习长期的依赖。正如他的名字，它可以学习长期和短期的依赖。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XBWfMw3m-1654652997806)(http://images.overfit.cn/upload/20220608/e0bf6118d79e4b759a3de0c16696b4f9.png)]每个LSTM层都有四个门：下面计算一个LSTM单元的参数：每一个lstm的操作都是线性
LSTM的参数量计算
cz的博客
06-22 2433
LSTM里面的参数量
LSTM参数个数计算
taoyafan的博客
09-21 2万+
今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层： （1）第一层是一个 embedding 层，输出是 100 维的。 （2）第二层是一个 LSTM 层，输出是 512 维的。 LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式： 设 LSTM 输入维度为 x_dim， 输...
code _lstm-ga_优化LSTM_遗传算法GA优化LSTM网络参数_优化LSTM_LSTM优化_
10-04
这些参数可能包括LSTM的隐藏单元数量、学习率、批大小、dropout比例等。 2. 评估适应度：使用选定的适应度函数（如交叉验证的准确性或AUC值）评估每组超参数对LSTM模型性能的影响。 3. 选择操作：根据适应度函数的...
基于pytorch的lstm参数使用详解
09-18
本文将深入解析基于PyTorch的LSTM参数使用。 1. **input_size**: - 这个参数定义了输入序列特征的数量。例如，如果每个时间步的输入是一个10维的向量，那么input_size应设置为10。 2. **hidden_size**: - hidden...
灰狼算法优化LSTM超参数-神经元个数-dropout-batch-size
02-19
灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 博客：https://data-mining.blog.csdn.net/article/details/127819862 1、摘要 本文主要讲解：使用灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size ...
GRU与LSTM有什么区别？
最新发布
05-06
它们的主要区别在于内部结构和参数数量。 LSTM通过三个门控单元（输入门、遗忘门和输出门）来控制信息的流动，以解决长期依赖问题。每个门控单元都有自己的权重，可以选择性地保留或遗忘输入数据。LSTM还使用了一个...
LSTM(长短时记忆网络)原理、pytorch实现、参数量分析以及应用场景简单总结
HUSTHY的博客
03-10 7397
RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问...
神经网络学习小记录36——Keras实现LSTM与LSTM参数量详解
Bubbliiiing的学习小课堂
01-08 1万+
神经网络学习小记录36——Keras实现LSTM学习前言什么是LSTM1、LSTM的结构2、LSTM独特的门结构3、LSTM参数量计算a、遗忘门b、输入门c、输出门d、全部参数量在Keras中实现LSTM实现代码 学习前言 我死了我死了我死了！ 什么是LSTM 1、LSTM的结构 我们可以看出，在n时刻，LSTM的输入有三个： 当前时刻网络的输入值Xt； 上一时刻LSTM的输出值ht-1； ...
“LSTM的参数解释，LSTM
热门推荐
吉良的博客
04-20 4万+
LSTM的参数解释 LSTM总共有7个参数：前面3个是必须输入的 1：input_size: 输入特征维数，即每一行输入元素的个数。输入是一维向量。如：[1,2,3,4,5,6,7,8,9]，input_size 就是9 2：hidden_size: 隐藏层状态的维数，即隐藏层节点的个数，这个和单层感知器的结...
通过循环指定输入n个数据，求最值时定义max无限小，min无限大
Hundreds_N的博客
11-05 460
求实数绝对值 输入数据有多组，每组占一行，每行包含一个实数。输入文件直到EOF为止。 #include <stdio.h> int main() { int n, i, j, x, max, min; max = -1e7; // 保证max无穷小 min = 1e7; //保证min无穷大 scanf("%d",&n); for (i = 1; i <= n; i++) {//一定要把后面的语
TensorFlow实战：LSTM的结构与cell中的参数
MrTriste的博客
03-25 1万+
看了关于LSTM的很多文章，感觉都讲的不错，唯独cell中的参数维度被忽略了，导致大体上能听懂，但是一涉及细节就比较模糊，所以想在这里写一篇侧重于LSTM参数维度的文章，以备大家查阅。 文章会结合TensorFlow具体的代码，基本原理的话可以先去看一下原理篇，这里默认大家都了解基本的原理，这里推荐下自己写的LSTM详解 反向传播公式推导 。 一些参数 训练的话一般一批一批训练，即让b...
LSTM神经元中参数个数
Dream come ture~
04-23 6932
LSTM的神经元个数 1. LSTM简单介绍 上图中间位置就是一个LSTM cell，红框框从左到右，依次是： 忘记门层： 决定从细胞状态中丢弃什么信息，通过当前时刻输入(xtx_{t}xt​)和前一个时刻输出(ht−1h_{t-1}ht−1​)决定。 细胞状态： 确定并更新新消息到当前时刻的细胞状态中。 输出门层： 基于目前的细胞状态决定该时刻的输出。 2. 简单假设样例 假设现有一个样本，S...
举例说明tf中LSTMCell的cell、num_unit是什么意思
qq_41915623的博客
06-07 1381
LSTM一般都会一连串的小团团，这一个个小团团就表示一个cell。如上图所示。 上图中，我们很多步计算中都有用到W, 其实num_units就表示线性层的隐藏节点个数，也即输出的维度。 例如： num_units = 128, 就表示我们输出的维度是[128, 1]（也有可能是[1, 128],看具体需要，两者只差一个转置，没有太大的本质区别）。 我们的输入xt的维度为[28, 1], 那么[ht−1,xt]=[128+28,1]=[156,1][h_{t-1},x_t]=[128+28, 1]=[156,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值