LSTM的参数量计算

最新推荐文章于 2024-07-25 09:42:27 发布
最新推荐文章于 2024-07-25 09:42:27 发布
阅读量2.3k 收藏 12
点赞数 5
分类专栏： 深度学习 文章标签： lstm 深度学习 神经网络
原文链接：https://www.cnblogs.com/wushaogui/p/9176617.html
版权

1.LSTM简单介绍

(产生矩阵变化的都是下面图中的红色部分 一共有四个 上面那个tanh由于维度正确，只需要激活即可，没有矩阵变换)
在这里插入图片描述
LSTM只有一个，他的权重都是共享的
红框从左到右,依次是:

  • 忘记门层: 决定从细胞状态中丢弃什么信息,通过当前时刻输入和前一个时刻输出决定
  • 细胞状态: 确定并更新新信息到当前时刻的细胞状态中
  • 输出门层: 基于目前的细胞状态决定该时刻的输出

2.简单假设样例

假设现有一个样本,Shape=(13,5),时间步是13,每个时间步的特征长度是5.形象点,我把一个样本画了出来:

在这里插入图片描述
一个样本
使用Keras框架添加LSTM层时,我的设置是这样的keras.layers.LSTM(10),也就是我现在设定,每个时间步经过LSTM后,得到的中间隐向量是10维(意思是5->10维),13个时间步的数据进去得到的是(13*10)的数据.

每个时间步对应神经元个数(参数个数)一样.也就是算一个LSTM中神经元个数,算一个时间步中参与的神经元个数即可.下面将对LSTM每个计算部分进行神经元分析.

3.神经元分析

3.1忘记门层

在这里插入图片描述

图中公式的是上一个状态的隐向量(已设定隐向量长度为10),为当前状态的输入(长度为5),通过拼接起来，那么的长度就是10+5=15了.和为该层的参数.

该层输出是中间隐向量的长度(10),经过激活前后的长度不变.只需要考虑里面的操作得到10维特征即可.

[ht-1,xt]是(1,15)的向量,与Wf相乘得到(1,10)的向量,根据矩阵相乘规律,得到是(15,10)的矩阵,得到(1,10)矩阵后,与该门层偏置相加,偏置也应该有相同的形状,即bf是(1,10)的矩阵.

即:该层神经元为:
在这里插入图片描述

3.2细胞状态

(1)确定更新信息过程
在这里插入图片描述

可以看到,这里公式和前面的一样的,和都是激活函数,不影响参数个数.

同理这过程的神经元个数是:

在这里插入图片描述

(2)更新过程

在这里插入图片描述

公式中的四个值,均是前面计算得到的结果,因此该过程没有参数需要学习.

3.3输出层

在这里插入图片描述

一样的公式,神经元个数一样.即个数为:
在这里插入图片描述

3.4总结
把公式(1),(2),(3)的神经元加起来,就是该LSTM的神经元个数了.

在这里插入图片描述

其实,我们可以把这个问题一般化,不看这个例子,假设你一个时间步的特征长度是n,经过该LSTM得到的长度是m,这样就可以算出该LSTM层的神经元个数为:
在这里插入图片描述

one-莫烦
关注
  • 5
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于LSTM神经网络的降水量预测研究.pdf
05-04
### 基于LSTM神经网络的降水量预测研究 #### 一、研究背景与意义 随着计算技术的快速发展和大数据时代的到来，深度学习技术在众多领域展现了卓越的应用能力。其中，长短期记忆网络（Long Short-Term Memory, LSTM...
卷积神经网络LSTM算法
07-07
卷积神经网络（Convolutional Neural Networks, CNN）与长短期记忆网络（Long Short-Term Memory, LSTM）是两种在深度学习领域广泛应用的模型。CNN主要用于处理具有网格结构的数据，如图像，而LSTM则是为了解决序列...
如何计算 LSTM 的参数量
Alan Lee
10-24 6124
理论上的参数量 之前翻译了 Christopher Olah 的那篇著名的 Understanding LSTM Networks，这篇文章对于整体理解 LSTM 很有帮助，但是在理解 LSTM 的参数数量这种细节方面，略有不足。本文就来补充一下，讲讲如何计算 LSTM 的参数数量。 建议阅读本文前先阅读 Understanding LSTM Networks 的原文或我的译文。 首先来回顾下 LSTM。一层 LSTM 如下： 这里的 xtx_txt​ 实际上是一个句子的 embedding（不考虑
神经网络学习小记录36——Keras实现LSTM与LSTM参数量详解
Bubbliiiing的学习小课堂
01-08 1万+
神经网络学习小记录36——Keras实现LSTM学习前言什么是LSTM1、LSTM的结构2、LSTM独特的门结构3、LSTM参数量计算a、遗忘门b、输入门c、输出门d、全部参数量在Keras中实现LSTM实现代码 学习前言 我死了我死了我死了！ 什么是LSTM 1、LSTM的结构 我们可以看出，在n时刻，LSTM的输入有三个： 当前时刻网络的输入值Xt； 上一时刻LSTM的输出值ht-1； ...
深入解析PyTorch：LSTM模型参数全解
lazycatlove的博客
06-19 1698
注意：1、对 nn.LSTM(10, 20, 2) 最后一个参数的理解。这是 2 个完整的 LSTM 串连，是 LSTM参数中 num_layers 的个数。上图，是一个完整的 LSTM。2 个LSTM的运作是，第一层的输出 h0 h1 h2 … ht，变成 第二层 LSTM 的 x0 x1 x2 … xt 输入。2、torch.randn(5, 3, 10) 数据中第一维度5（有5组数据，每组3行，每行10列），在整个模型中似乎没有看到在哪里处理了5次。整个模型也没有循环5次，它到哪了呢？
LSTM参数量计算
m0_58557812的博客
04-25 45
LSTM的参数量计算_lstm参数量计算_one-莫烦的博客-CSDN博客
LSTM参数个数计算
热门推荐
taoyafan的博客
09-21 2万+
今天看程序看到了LSTM，原理都懂，但是想看看参数的个数是怎么算出来的，先简单介绍下我的网络前两层： （1）第一层是一个 embedding 层，输出是 100 维的。 （2）第二层是一个 LSTM 层，输出是 512 维的。 LSTM这一层的参数个数是 1255424 个，这一看还有整有零的，好奇怎么算出来的，于是百度搜了下，得到这么一个公式： 设 LSTM 输入维度为 x_dim， 输...
cnn、lstm参数计算
林宋的搬砖流水账
12-17 2987
一、cnn参数计算   假设输入7*7*3，卷积核3*3*2，stride=(1,1),输出是3*3*2 参数量计算：fileter_size✖️input_channel✖️output_channel 解释:参数量与输入尺寸无关，只是卷积核的参数，每一个卷积核首先对input_feature所有通道做卷积，得到 n*n*input-channel，然后input_channel个n...
LSTM层参数量计算方法
qq_38642635的博客
12-12 1695
总体来说，假设lstm层的一个时间点上的输入特征长度是n，输出长度是m，那么参数量是4*((n+m)*m+m)。 详细的推导看这篇文章，讲得很详细很明白。
LSTM参数个数计算方法
这个人很蓝
04-05 3086
LSTM的计算方式如下（不加偏置）： 可以看到若不加偏置，该LSTM层共有4个权重参数，图中输入的一个timestep的特征大小为3（绿色单元），隐藏层输出大小为2（橙色单元），因此该LSTM层的参数个数为： n=4∗(2+3)∗2=40n=4*(2+3)*2=40n=4∗(2+3)∗2=40 若加上偏置则该LSTM层的参数个数为： n=4∗((2+3)∗2+2)=48n=4*((2+3)*2+...
基于长短期神经网络的降雨量预测，基于LSTM的降雨量预测，自编码长短期神经网络
08-05
描述中提到的“基于MATALB编程的自编码长短期神经网络”意味着开发人员使用MATLAB这一科学计算软件来构建了一个包含自编码器的LSTM模型。自编码器是一种无监督学习的神经网络，它的目标是学习输入数据的高效表示，即...
lstm 成功,lstm实现,Python
09-11
- 可以在有限的计算资源下处理较长序列。 缺点： - 训练时间可能较长，特别是在大数据集上。 - 模型复杂，参数较多，可能导致过拟合。 - 需要大量内存，尤其是当序列长度很大时。 **总结** LSTM是深度学习中处理...
LSTM详细学习.docx
09-30
在深度神经网络中，反向传播算法用于计算权重的梯度，以进行参数更新。在RNN中，由于其时间步的展开形式，信息需要通过多层链式传递，导致梯度在传播过程中可能会逐渐变小（梯度消失）或者突然增大（梯度爆炸）。这...
卷积神经网络（三）-zfNet
07-25 1017
ZFNet（Zeiler & Fergus Net）是由Matthew D. Zeiler和Rob Fergus在2013年提出的卷积神经网络模型，它是基于AlexNet进行改进而来的。ZFNet在当年的ImageNet Large Scale Visual Recognition Challenge (ILSVRC)中取得了冠军,尤其在分类和定位任务上表现突出。
认识神经网络【多层感知器数学原理】
逐梦苍穹的博客
07-24 1465
简单认识神经网络，学习多层感知器的数学原理和公式
基于JAVA的在线音乐网站（Vue.js+SpringBoot+MySQL）
最新发布
08-01
基于Vue.js和SpringBoot的音乐网站是一个功能丰富的在线音乐平台，它分为管理后台和用户网页端，以满足不同用户角色的需求。管理员可以通过管理后台进行用户管理，包括用户信息的增删改查，确保网站的用户信息安全和准确。同时，管理员还可以对歌曲分类进行管理，根据音乐风格、语言等属性对歌曲进行分类，方便用户快速找到自己喜欢的音乐类型。此外，管理员还可以对歌曲信息进行管理，包括歌曲的名称、歌手、专辑、发行时间等信息的录入和更新，确保歌曲信息的准确性和完整性。 对于普通用户来说，用户网页端提供了丰富的音乐资源，用户可以根据自己的喜好和需求，通过歌曲分类快速找到自己喜欢的音乐。同时，用户还可以查看歌曲的详细信息，包括歌曲的名称、歌手、专辑、发行时间等，以便更好地了解和欣赏音乐。此外，用户还可以根据自己的喜好对歌曲进行收藏、播放和下载，享受个性化的音乐体验。 演示录屏：https://www.bilibili.com/video/BV1wZ421h7eH 配套教程：https://www.bilibili.com/video/BV1pW4y1P7GR
Windows ELK8 测试: filebeat8+kakfa+logstash8+elasticsearch8+kibana
08-01
ca.key ca.pem ca.srl client.crt client.csr client.key kibana-server.crt kibana-server.csr kibana-server.key
基于tensorflow的自动驾驶模拟.zip
08-01
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4
matlab lstm参数
09-06
在 MATLAB 中，可以使用 Neural Network Toolbox 中的 LSTM 网络来进行回归任务。LSTM（长短期记忆）是一种循环神经网络，适用于处理具有时间序列结构的数据。 要使用 LSTM 网络进行回归，需要设置网络的参数。以下是一些常见的参数： 1. 隐藏层大小（numHiddenUnits）：这是 LSTM 网络中隐藏状态的维度，影响网络的容量。通常，较大的隐藏层大小可以提供更好的建模能力，但也可能导致过拟合。 2. 层数（numLayers）：LSTM 网络可以有多个堆叠的 LSTM 层。通过增加层数，网络可以学习更复杂的模式。然而，层数过多也会增加训练时间和计算复杂度。 3. 学习率（learnRate）：这是网络在每次迭代时更新权重的步长。较小的学习率可能导致收敛速度过慢，而较大的学习率可能导致训练不稳定。可以根据具体问题进行调整。 4. 最大迭代次数（maxEpochs）：这是训练过程中的最大迭代次数。可以根据训练误差和验证误差的变化情况来确定合适的值。 5. 正则化参数（regularization）：可以通过正则化来控制网络的复杂度，防止过拟合。常见的正则化方法包括 L1 正则化和 L2 正则化。 这些只是一些基本的参数设置，实际使用时还需要根据具体问题进行调整。可以通过 MATLAB 中的 `lstmLayer` 和 `trainingOptions` 函数来设置这些参数，并使用训练数据对 LSTM 网络进行训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值