LSTM参数个数计算

最新推荐文章于 2024-08-11 12:10:46 发布
最新推荐文章于 2024-08-11 12:10:46 发布
阅读量2w 收藏 43
点赞数 14
分类专栏： 深度学习 文章标签： LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyafan/article/details/82803943
版权

今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层：

（1）第一层是一个 embedding 层，输出是 100 维的。

（2）第二层是一个 LSTM 层，输出是 512 维的。

LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式：

设 LSTM 输入维度为 x_dim， 输出维度为 y_dim，那么参数个数 n 为：

n = 4 * ((x_dim + y_dim) * y_dim + y_dim)

对应我的网络结构就是：n = 4 * ((100 + 512) * 512 + 512) = 1255424

 

LSTM 的原理以及公式的又来可以参考这个链接https://www.cnblogs.com/wushaogui/p/9176617.html

taoyafan
关注
专栏目录
灰狼算法优化LSTM超参数-神经元个数-dropout-batch-size
02-19
灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 博客：https://data-mining.blog.csdn.net/article/details/127819862 1、摘要 本文主要讲解：使用灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size ...
深度学习：LSTM的拓展（双向LSTM和GRU等）
皮皮blog
11-13 2万+
这里三条黑线就是所谓的 peephole，传统的 LSTM 中遗忘门、输入门和输出门只用了 h(t-1) 和 xt 来控制门缝的大小，peephole 的意思是说不但要考虑 h(t-1) 和 xt，也要考虑 Ct-1 和 Ct，其中遗忘门和输入门考虑了 Ct-1，而输出门考虑了 Ct。RNN和LSTM都只能依据之前时刻的时序信息来预测下一时刻的输出，但在有些问题中，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系。而LSTM具有较多的参数，比较适合具有大量样本的情况，可能会获得较优的模型。
如何计算 LSTM 的参数量
Alan Lee
10-24 6373
理论上的参数量 之前翻译了 Christopher Olah 的那篇著名的 Understanding LSTM Networks，这篇文章对于整体理解 LSTM 很有帮助，但是在理解 LSTM 的参数数量这种细节方面，略有不足。本文就来补充一下，讲讲如何计算 LSTM 的参数数量。 建议阅读本文前先阅读 Understanding LSTM Networks 的原文或我的译文。 首先来回顾下 LSTM。一层 LSTM 如下： 这里的 xtx_txt​ 实际上是一个句子的 embedding（不考虑
神经网络之lstm
零度°C的博客
08-11 1万+
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊类型的循环神经网络（RNN），由 Hochreiter 和 Schmidhuber 于 1997 年提出。LSTM 旨在解决传统 RNN 在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM 网络的核心是三个门的机制：遗忘门（forget gate）、输入门（input gate）、输出门（output gate）。这些门通过自适应的方式控制信息的流动，从而实现对长期依赖信息的捕捉。
LSTM的参数量计算
cz的博客
06-22 2466
LSTM里面的参数量
神经网络学习小记录36——Keras实现LSTM与LSTM参数量详解
Bubbliiiing的学习小课堂
01-08 1万+
神经网络学习小记录36——Keras实现LSTM学习前言什么是LSTM1、LSTM的结构2、LSTM独特的门结构3、LSTM参数量计算a、遗忘门b、输入门c、输出门d、全部参数量在Keras中实现LSTM实现代码 学习前言 我死了我死了我死了！ 什么是LSTM 1、LSTM的结构 我们可以看出，在n时刻，LSTM的输入有三个： 当前时刻网络的输入值Xt； 上一时刻LSTM的输出值ht-1； ...
LSTM参数计算
bblingbbling的博客
07-13 1565
LSTM参数计算LSTM结构输入输出结构门结构参数计算 LSTM结构 输入输出结构 在n时刻 LSTM的输入有三个： 1.当前时刻网络的输入值Xt； 2.上一时刻LSTM的输出值ht-1； 3.上一时刻的单元状态Ct-1。 LSTM的输出有两个： 1.当前时刻LSTM输出值ht； 2.当前时刻的单元状态Ct。 门结构 门有三类：忘记门，输入门，输出门。 1.忘记门：以一定的概率控制是否遗忘上一层的隐藏细胞状态； 2.输入门：负责处理当前序列位置的输入，更新细胞状态； 3.输出门：决定输出什么。 参
“LSTM的参数解释，LSTM
热门推荐
吉良的博客
04-20 4万+
LSTM的参数解释 LSTM总共有7个参数：前面3个是必须输入的 1：input_size: 输入特征维数，即每一行输入元素的个数。输入是一维向量。如：[1,2,3,4,5,6,7,8,9]，input_size 就是9 2：hidden_size: 隐藏层状态的维数，即隐藏层节点的个数，这个和单层感知器的结...
基于pytorch的lstm参数使用详解
09-18
本文将深入解析基于PyTorch的LSTM参数使用。 1. **input_size**: - 这个参数定义了输入序列特征的数量。例如，如果每个时间步的输入是一个10维的向量，那么input_size应设置为10。 2. **hidden_size**: - hidden...
Sampson91#ComplexNetwork-DataMining#LSTM参数计算1
07-25
$x_{t}$ 为当前的状态输入，长度为 302 ， $[h_{t-1},x_{t}]$ 的长度 为 352Output ： 中间隐向量的长度 50$[h_{t
基于LSTM和SpringBoot的计算机故障预测与诊断专家系统源码设计
最新发布
10-11
该项目是一款基于LSTM算法和SpringBoot框架构建的计算机故障预测与诊断专家系统源码，包含34个文件，涵盖7个Java源文件、4个CSS样式文件、3个GIF图像文件、2个属性文件、2个文本文件、2个PNG图像文件、2个HTML文件、...
LSTM参数个数计算方法
这个人很蓝
04-05 3157
LSTM的计算方式如下（不加偏置）： 可以看到若不加偏置，该LSTM层共有4个权重参数，图中输入的一个timestep的特征大小为3（绿色单元），隐藏层输出大小为2（橙色单元），因此该LSTM层的参数个数为： n=4∗(2+3)∗2=40n=4*(2+3)*2=40n=4∗(2+3)∗2=40 若加上偏置则该LSTM层的参数个数为： n=4∗((2+3)∗2+2)=48n=4*((2+3)*2+...
LSTM层参数量计算方法
qq_38642635的博客
12-12 1783
总体来说，假设lstm层的一个时间点上的输入特征长度是n，输出长度是m，那么参数量是4*((n+m)*m+m)。 详细的推导看这篇文章，讲得很详细很明白。
LSTM(长短时记忆网络)原理、pytorch实现、参数量分析以及应用场景简单总结
HUSTHY的博客
03-10 7567
RNN循环神经网络在解决一些时序问题上是很成功的，但是RNN由于在梯度反向传播的时候，每一步都会乘以一个参数W，当传递的步数很长了，就会导致梯度爆炸和梯度消失——也就是长距离依赖问题。为了解决这个问题，基于RNN就提出了LSTM模型。它采用门机制来实现信息的存储，从而解决了长距离依赖问题。至于LSTM具体是如何缓解了梯度消失和梯度爆炸的问题参考知乎文章——LSTM如何解决梯度消失问...
使用 LSTM 计算语言模型的复杂度
David's Notes
05-07 5325
使用 LSTM 计算语言模型的复杂度 获取数据 wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz 源代码 import numpy as np import tensorflow as tf import reader import os os.environ['CUDA_VISIBLE_DEVI...
神经网络数据量多少合适,神经网络计算量太大吗
神经网络爱好者
10-20 1730
关于隐层节点数：在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。Hopfield神经网络的权值不是经过反复学习获得的，而是按照一定规则计算出来的，一经确定就不再改变，而Hopfield神经网络的状态(输入、输出信号)会在运行过程中不断更新，网络演变到稳态时各神经元的状态便是问题的解。因此，batch size不能过小，不然每次所利用的样本量太少，所包含的信息也少，我觉得至少8吧。
AI实战：使用LSTM做数值序列预测
Zack的博客
05-07 1041
使用LSTM做数值序列预测依赖环境核心代码搭建模型loss函数其他辅助函数模型概览 依赖环境 python3.x tensorflow 2.x Linux(我用的Ubuntu 18.04LTS) numpy pandas sklearn 核心代码 搭建模型 依赖库 import sys import os from tensorflow import keras from tensorflow.keras.models import Model import pandas as pd from sk
长短时记忆网络LSTM中各个输入、输出和参数维度及计算流程
qq_36370187的博客
11-04 1万+
个人笔记，不喜勿喷。 举例说明（结合pytorch，最后会给出代码） 构建的网络nn.LSTM：（28,4,num_layers=2），即图中是4层 输入lstm_input：维度是（10,3,28） 初始化隐藏状态h_init：维度是（2,3,4） 初始化初始化细胞状态c_init：维度是（2,3,4） 计算结果out：维度是（10,3,4） 计算后最后一个时间步h隐藏状态：维度是...
keras：4)LSTM函数详解
WitsMakeMen的专栏
11-03 640
链接：https://blog.csdn.net/jiangpeng59/article/details/77646186 LSTM层 keras.layers.recurrent.LSTM(units, activation=‘tanh’, recurrent_activation=‘hard_sigmoid’, use_bias=True, kernel_initializer=‘glorot...
matlab lstm参数
09-06
在 MATLAB 中，可以使用 Neural Network Toolbox 中的 LSTM 网络来进行回归任务。LSTM（长短期记忆）是一种循环神经网络，适用于处理具有时间序列结构的数据。 要使用 LSTM 网络进行回归，需要设置网络的参数。以下是一些常见的参数： 1. 隐藏层大小（numHiddenUnits）：这是 LSTM 网络中隐藏状态的维度，影响网络的容量。通常，较大的隐藏层大小可以提供更好的建模能力，但也可能导致过拟合。 2. 层数（numLayers）：LSTM 网络可以有多个堆叠的 LSTM 层。通过增加层数，网络可以学习更复杂的模式。然而，层数过多也会增加训练时间和计算复杂度。 3. 学习率（learnRate）：这是网络在每次迭代时更新权重的步长。较小的学习率可能导致收敛速度过慢，而较大的学习率可能导致训练不稳定。可以根据具体问题进行调整。 4. 最大迭代次数（maxEpochs）：这是训练过程中的最大迭代次数。可以根据训练误差和验证误差的变化情况来确定合适的值。 5. 正则化参数（regularization）：可以通过正则化来控制网络的复杂度，防止过拟合。常见的正则化方法包括 L1 正则化和 L2 正则化。 这些只是一些基本的参数设置，实际使用时还需要根据具体问题进行调整。可以通过 MATLAB 中的 `lstmLayer` 和 `trainingOptions` 函数来设置这些参数，并使用训练数据对 LSTM 网络进行训练。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值