LSTM的神经元个数

最新推荐文章于 2023-09-19 15:02:21 发布
最新推荐文章于 2023-09-19 15:02:21 发布
阅读量1.1k 收藏 6
点赞数
文章标签： lstm 深度学习 keras
原文链接：https://www.cnblogs.com/wushaogui/p/9176617.html
版权

LSTM的神经元个数 - 好奇不止，探索不息 - 博客园 (cnblogs.com)

1.LSTM简单介绍

LSTM在时间上展开

红框从左到右,依次是:
忘记门层: 决定从细胞状态中丢弃什么信息,通过当前时刻输入和前一个时刻输出决定
细胞状态: 确定并更新新信息到当前时刻的细胞状态中
输出门层: 基于目前的细胞状态决定该时刻的输出

2.简单假设样例

假设现有一个样本,Shape=(13,5),时间步是13,每个时间步的特征长度是5.形象点,我把一个样本画了出来:

一个样本

使用Keras框架添加LSTM层时,我的设置是这样的keras.layers.LSTM(10),也就是我现在设定,每个时间步经过LSTM后,得到的中间隐向量是10维(意思是5->10维),13个时间步的数据进去得到的是(13*10)的数据.

每个时间步对应神经元个数(参数个数)一样.也就是算一个LSTM中神经元个数,算一个时间步中参与的神经元个数即可.下面将对LSTM每个计算部分进行神经元分析.

3.神经元分析

3.1忘记门层

忘记门层

图中公式的

是上一个状态的隐向量(已设定隐向量长度为10),为当前状态的输入(长度为5),那么的长度就是10+5=15了.和为该层的参数.

该层输出是中间隐向量的长度(10),经过

激活前后的长度不变.只需要考虑里面的操作得到10维特征即可.

是(1,15)的向量,与相乘得到(1,10)的向量,根据矩阵相乘规律,得到是(15,10)的矩阵,得到(1,10)矩阵后,与该门层偏置相加,偏置也应该有相同的形状,即是(1,10)的矩阵.

即:该层神经元为:

3.2细胞状态

(1)确定更新信息过程

确定该时刻细胞要更新的内容

可以看到,这里公式和前面的一样的,

和都是激活函数,不影响参数个数.

同理这过程的神经元个数是:

(2)更新过程

细胞状态更新

公式中的四个值,均是前面计算得到的结果,因此该过程没有参数需要学习.

3.3输出层

输出门层

一样的公式,神经元个数一样.即个数为:

3.4总结

把公式(1),(2),(3)的神经元加起来,就是该LSTM的神经元个数了.

其实,我们可以把这个问题一般化,不看这个例子,假设你一个时间步的特征长度是n,经过该LSTM得到的长度是m,这样就可以算出该LSTM层的神经元个数为:

4.测试

  1. from keras.layers import LSTM
  2. from keras.models import Sequential
  4. time_step=13
  5. featrue=5
  6. hidenfeatrue=10
  8. model=Sequential()
  9. model.add( LSTM(hidenfeatrue,input_shape=(time_step,featrue)))
  10. model.summary()

输出是:

  1. _________________________________________________________________________________
  2. Layer (type) Output Shape Param #
  3. =================================================================================
  4. lstm_8 (LSTM) (None, 10) 640
  5. =================================================================================
  6. Total params: 640
  7. Trainable params: 640
  8. Non-trainable params: 0
  9. _________________________________________________________________________________

参考:
理解 LSTM 网络
推荐给初学LSTM或者懂个大概却不完全懂的人

lizz2276
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
灰狼算法优化LSTM超参数-神经元个数-dropout-batch-size
02-19
灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 博客：https://data-mining.blog.csdn.net/article/details/127819862 1、摘要 本文主要讲解：使用灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 主要思路： 灰狼算法 Parameters ： 迭代次数、狼的寻值范围、狼的数量 LSTM Parameters 神经网络第一层神经元个数、神经网络第二层神经元个数、dropout比率、batch_size 开始搜索：初始化所有狼的位置、迭代寻优、返回超出搜索空间边界的搜索代理、计算每个搜索代理的目标函数、更新 Alpha, Beta, and Delta 训练模型，使用灰狼算法找到的最好的全局最优参数 plt.show() 2、数据介绍 zgpa_train.csv DIANCHI.csv 3、相关技术 灰狼优化算法(GWO),灵感来自于灰狼.GWO算法模拟了自然界灰狼的领导层级和狩猎机制.四种类型的灰狼。此外，还实现了狩猎的三个主要步骤:寻找猎物、包围猎物和攻击猎物。
关于LSTM的神经元数及参数个数
Hello_word5的博客
03-30 2万+
先上经典的LSTM结构 1、首先 tf.nn.rnn_cell.BasicLSTMCell(num_units=n)中的参数num_units指的是什么？ 上图中一个浅绿色大框框起来的我们暂时叫一个LSTM_Cell,我们可以看到一个LSTM_Cell中有四个基本的神经网络Cell(即四个黄色的小框)，每个小框可以说存放的是个向量，且四个框中向量长度相同，这个相同的向量长度便是num_un...
LSTM-CNN多输出预测加optuna自动调参神经网络神经元个数dropout和batch-size
02-22
此文件包含数据Data.csv，数据包含三个字段 target,feature1,feature2 此文件包含代码lstm_50.py，用于预测未来4行数据 核心代码示例 model = Sequential() model.add(CuDNNLSTM(units=units1, return_sequences=True, input_shape=(look_back, 3))) model.add(Convolution1D(conv1, 4, padding='same', strides=2)) model.add(Activation('relu')) model.add(Conv1D(units2, 4, strides=2, activation='relu', padding="same")) model.add(Flatten()) model.add(Dense(pred)) optimizer = Adam 有问题请关注私聊，包此代码的答疑服务，基本秒回，不满意加球球包退款，可接受定制服务
用于语音识别的深层卷积和LSTM神经网络的Maxout神经元
04-08
深度神经网络（DNN）在用于语音识别的声学建模中取得了巨大的成功。 但是，在训练过程中，具有乙状神经元的DNN可能会遇到梯度消失的问题。 Maxout神经元有望成为sigmod神经元的替代品。 通过选择局部区域内的最大值来获得maxout神经元的激活，从而在训练过程中产生恒定的梯度。 在本文中，我们将maxout神经元与两个流行的DNN结构进行声学建模，即卷积神经网络（CNN）和长短期记忆（LSTM）递归神经网络（RNN）。 探索了模型的最佳网络结构和训练策略。 实验是根据IARPA Babel计划下发布的基准数据集进行的。 所提出的模型在六个语言集合中，相对于其相应的CNN或LSTM RNN基线，实现了2.5-6.0％的相对改进。 这些数据集的最新结果是在系统组合后获得的。
SSA-LSTM麻雀算法优化LSTM超参数-优化神经网络神经元个数-dropout-batch-size
02-18
1、摘要 本文主要讲解：使用SSA麻雀算法-LSTM-优化神经网络神经元个数-dropout-batch_size 主要思路： SSA Parameters ：优化函数、粒子数量、搜索维度、迭代次数 LSTM Parameters 神经网络第一层神经元个数、神经网络第二层神经元个数、dropout比率、batch_size 开始搜索： 发现者（探索者）的位置更新；取出最大的适应度值和最差适应度的X；更新跟随着位置；预警值较小，说明没有捕食者出现；预警值较大，说明有捕食者出现威胁到了种群的安全，需要去其它地方觅食；加入者（追随者）的位置更新； 训练模型，使用SSA找到的最好的全局最优参数 plt.show() 2、数据介绍 简单的时序数据 3、相关技术 麻雀搜索算法(Sparrow Search Algorithm, SSA)是一种新型的群智能优化算法，在2020年提出，主要是受麻雀的觅食行为和反捕食行为的启发 。 博客链接：https://data-mining.blog.csdn.net/article/details/123806007 代码比较复杂，如需帮忙请私聊
超参数调整确定神经网络中隐藏层的数量
02-22
超参数调整确定神经网络中隐藏层的数量
LSTM神经元中参数个数
Dream come ture~
04-23 6700
LSTM的神经元个数 1. LSTM简单介绍 上图中间位置就是一个LSTM cell，红框框从左到右，依次是： 忘记门层： 决定从细胞状态中丢弃什么信息，通过当前时刻输入(xtx_{t}xt​)和前一个时刻输出(ht−1h_{t-1}ht−1​)决定。 细胞状态： 确定并更新新消息到当前时刻的细胞状态中。 输出门层： 基于目前的细胞状态决定该时刻的输出。 2. 简单假设样例 假设现有一个样本，S...
LSTM 实际神经元隐含层物理架构原理解析
02-27 8436
最近看一些基于LSTM网络的NLP案例代码，其中涉及到一些input_size， num_hidden等变量的时候，可能容易搞混，首先是参照了知乎上的一个有关LSTM网络的回答https://www.zhihu.com/question/41949741， 以及github上对于LSTM比较清晰的推导公式http://arunmallya.github.io/writeups/nn/lstm/in...
LSTM神经单元的简介和学习建议
u013992745的博客
02-09 2873
参考了colah的文献。说实话，这篇文章不是给零基础地学生看的，知识鄙人再学习完神经网络之后的学习笔记。所以需要先看看colah地文章，至少先把这位大佬文章上地图看懂。 我是零基础看的。在理解的时候，带着者几个问题看的 1. 基本概念：神经网络的层和门是什么意思；2. 神经单元的层输入和输出数据是什么形式，表示什么意义；3.层的计算使用的函数的作用是什么，为什么使用这几个函数（建议先从这几个函...
bp神经网络隐含层神经元个数_LSTM 实际神经元隐含层物理架构原理解析
weixin_39864601的博客
11-28 2396
注：欢迎关注本人分享有关个性化推荐系统公众号：Tiany_RecoSystem最近看一些基于LSTM网络的NLP案例代码，其中涉及到一些input_size， num_hidden等变量的时候，可能容易搞混，首先是参照了知乎上的一个有关LSTM网络的回答https://www.zhihu.com/question/41949741， 以及github上对于LSTM比较清晰的推导公式http://a...
GA-LSTM 遗传算法优化的lstm 预测代码 python实现
04-07
GA-LSTM 遗传算法优化的lstm 预测代码 python实现 直接就可以运行 GA.PY 具体可以通过lstm.py的load数据进行修改
LSTM模型结构的可视化
allein_STR的博客
01-19 319
上面的图表示包含2个隐含层的LSTM网络，在T=1时刻看，它是一个普通的BP网络，在T=2时刻看也是一个普通的BP网络，只是沿时间轴展开后，T=1训练的隐含层信息H,C会被传递到下一个时刻T=2，如下图所示。这样的数据立方体很多，比如天气预报数据，把样本理解成城市，时间轴是日期，特征是天气相关的降雨风速PM2.5等，这个数据立方体就很好理解了。实际上，右图中，我们看Xt表示序列，下标t是时间轴，所以，A的数量表示的是时间轴的长度，是同一个神经元在不同时刻的状态（Ht），不是隐含层神经元个数。
LSTM详解
Mr_Brooks的博客
05-28 6645
出处Keras关于LSTM的units参数：这个问题也困扰了我很久，后来终于明白了，很多资料都没有在这个地方做详细的解释，那就是 LSTM 的 cell 里面的 num_units 该怎么理解，其实也是很简单，看看下图：可以看到中间的 cell 里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐...
【深度学习 | LSTM】解开LSTM的秘密:门控机制如何控制信息流
最新发布
计算机魔术师的blog
09-19 1213
LSTM（Long Short-Term Memory）是一种常用于处理序列数据的**循环神经网络模型**。LSTM的核心思想是在传递信息的过程中，通过门的控制来选择性地遗忘或更新信息。LSTM中主要包含三种门：输入门（input gate）、输出门（output gate）和遗忘门（forget gate），以及一个记忆单元（memory cell）。
LSTM网络结构
Haward
03-07 6451
1.介绍 假设词向量长度为128，隐含层神经元个数为256。LSTM中引入3个门，即输入门、遗忘门、输出门；及其他组件：候选记忆细胞、记忆细胞。 2.时间t时候：各个组件（3个门+候选记忆细胞、记忆细胞） 如上图所示，对于每个组件有： (1) 输入门：ItI_tIt​ It=σ(XtWihI+Ht−1WhhI+bihI) I_t = \sigma (X_tW_{ih}^I+H_{t-1}W_{h...
LSTM中神经元的个数
m0_51499154的博客
09-21 4494
在初学RNN\LSTM时，经常将其与CNN进行类比，从而会思考LSTM中的神经元的个数。 然而循环神经网络与卷积神经网络差异很大，个人建议不进行类比，概念容易混淆。 其次来解释RNN\LSTM中神经元的个数。 这张在RNN中广为流传的神图，很容易给人们带来误解。这是通过时间步展开的RNN，通过时间步展开就意味着用了一个相同的rnn神经元，使用相同的参数。所以可以说只有一个神经元。 上图是LSTM按照时间步展开,基于对神经元的不同理解，LSTM中神经元的个数也可以进行不同理解，一般大家把LS.
Keras中LSTM参数的含义
puredreammer的博客
09-14 3万+
units:是输出的维度。  在下图中，中间的绿色cell 里面有四个黄色小框，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1、2、4的激活函数是 sigmoid，第三个的激活函数是 tanh。 参考：https://www.zhihu.com/question/64470274/answer/256379387 ...
RNN（反馈神经网络）之LSTM学习记录
qq_36235033的博客
08-03 927
RNN（反馈神经网络）之LSTM学习记录新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 RNN反馈神经网络也称循环神经网络，每个时刻网络的输出都可以在下一时刻直接作用到自身，及当前时刻网络的最终结果是该时刻的输入信息与所有
神经网络中隐藏层的层数和隐藏层节点数的确定
热门推荐
qq_36370187的博客
11-12 4万+
1.隐藏层的层数 一般来说，层数越多，整个网络的误差也就越小，但是会是整个网络复杂化，增加网络的训练时间，也有可能出现“过拟合”（太适应于训练集，在测试集上效果不好）的情况。一般来说，一两层的隐藏层已经能够解决很多问题了，如果数据量多，可以在防止出现过拟合的情况下适当的增加层数。 2.隐藏层节点数 隐藏层节点数是导致“过拟合”的直接原因，确定隐藏层节点数与输入输出维度相关，并且每个模型都是不...
粒子群算法优化LSTM神经元个数
05-20
粒子群算法是一种优化算法，可以用来确定LSTM神经元的个数。下面是使用粒子群算法优化LSTM神经元个数的步骤： 1. 定义适应度函数：适应度函数是评价粒子（即LSTM神经元个数）的好坏的函数。在这里，我们可以使用交叉验证的方法来评价粒子的好坏。具体来说，将数据集分成训练集和验证集，使用训练集训练模型，然后在验证集上评估模型的性能。适应度函数可以定义为验证集上的准确率或者其他性能指标。 2. 初始化粒子群：定义一个初始的粒子群，可以随机生成一些LSTM神经元个数作为初始的粒子。 3. 计算每个粒子的适应度并更新全局最优解：对于每个粒子，计算其适应度，然后更新全局最优解。 4. 更新粒子的速度和位置：使用粒子群算法的公式更新每个粒子的速度和位置。 5. 重复步骤3和4，直到达到结束条件：重复执行步骤3和4，直到达到结束条件，例如达到一定迭代次数或者达到一定的适应度值。 6. 得到最优解：最后得到的全局最优解即为最优的LSTM神经元个数。 需要注意的是，粒子群算法是一种启发式算法，其结果可能取决于初始粒子群的选择和算法的参数设置。因此，在实际使用中，需要对算法进行调参和验证，才能得到较为准确的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值