LSTM cell结构的理解和计算

最新推荐文章于 2024-05-24 00:18:11 发布
最新推荐文章于 2024-05-24 00:18:11 发布
阅读量2.6w 收藏 75
点赞数 32
分类专栏： NLP 文章标签： LSTM RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songhk0209/article/details/71134698
版权
LSTM是传统RNN网络的扩展，其核心结构是其cell单元，网上LSTM的相关资料繁多，质量参差不齐，下面主要结合LSTM神经网络的详细推导和 Christopher Olah的blog两篇文章中的内容进行说明。主要介绍网络如何计算，为何这么算先不展开:)。前者一副图加上29个公式，简洁明了；后者娓娓道来，适合初学者。
首先是LSTM cell最常见的结构图：

这里写图片描述

这是变形的版本（找不到更清晰的版本了），其中输入门控制输入（新记忆）的输入幅度；遗忘门控制之前记忆状态的输入幅度；输出门控制最终记忆的输出幅度。图中的三角形其实就是乘法符号。

最低0.47元/天 解锁文章
songhk0209
关注
  • 32
    点赞
  • 踩
  • 75
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
长短期记忆网络LSTMCell单元详解及反向传播的梯度求导
BrightLamp的博客
12-18 1612
摘要 本文给出长短期记忆网络LSTMCell单元的定义公式, 并求解其在反向传播中的梯度. 求导过程比较长, 涉及的变量很多, 但求导过程并不难, 只要细心即可. 给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证. 相关 配套代码, 请参考文章 : 纯 Python 和 PyTorch 对比实现循环神经网络 LSTM 及反向传播 Affine 变换的定义和...
举例说明tf中LSTMCell的cell、num_unit是什么意思
qq_41915623的博客
06-07 1282
LSTM一般都会一连串的小团团，这一个个小团团就表示一个cell。如上图所示。 上图中，我们很多步计算中都有用到W, 其实num_units就表示线性层的隐藏节点个数，也即输出的维度。 例如： num_units = 128, 就表示我们输出的维度是[128, 1]（也有可能是[1, 128],看具体需要，两者只差一个转置，没有太大的本质区别）。 我们的输入xt的维度为[28, 1], 那么[ht−1,xt]=[128+28,1]=[156,1][h_{t-1},x_t]=[128+28, 1]=[156,
【LSTM】LSTM cell的门结构学习笔记
最新发布
shuaixio的博客
05-24 449
LSTM cell门结构详解，门的公式输入、输出、维度、含义等，门的参数，关于LSTM门的一些疑问厘清
RNN中的LSTM Cell模块详解
luoi_han的博客
07-26 2813
** 1. LSTM Cell的结构如下： 从整体上看LSTM有三个输入：当前时刻网络的输入值x(t), 上一时刻LSTM的短时输出状态h(t-1), 以及上一时刻的长时输出状态c(t-1)；三个输出：当前时刻网络的输出值y(t), 当前时刻LSTM短时输出状态h(t), 和当前时刻的长时状态c(t)。 从局部看，我们可以看到LSTM有三个门，分别为遗忘门，输入门和输出门。门是一种让信息选择式通...
tensorflow学习之BasicLSTMCell详解
fu6543210的博客
06-02 6359
tf.contrib.rnn.BasicLSTMCell 继承自：LayerRNNCell Aliases: Class tf.contrib.rnn.BasicLSTMCell Class tf.nn.rnn_cell.BasicLSTMCell 基础的LSTM循环网络单元，基于http://arxiv.org/abs/1409.2329.实现。将forget_bias（默认值：1）添加到忘...
LSTM核心解读
laolu1573的专栏
09-02 441
    LSTM的架构与RNN相比没有根本上的不同，只是它的内部使用了一个不同的函数来计算隐藏状态。 LSTM中的记忆单元称为cells，可以将其看做以先前状态和当前输入作为输入的黑盒子。 在LSTM内部，这些cells决定了要保留或者擦除哪些记忆。 然后把先前的状态，当前的记忆和输入组合在一起。 事实证明，这种类型的单元在捕获长期依赖关系上非常有效。 LSTM计算公式： 包含两个me...
46_LSTM介绍理解1
08-03
**LSTM**在RNN的基础上增加了三个关键组件，即遗忘门（Forget Gate）、输入门（Input Gate）和输出门（Output Gate），以及一个细胞状态（Cell State）\( c_t \)。细胞状态\( c_t \)是LSTM的核心，它允许信息不受...
理解 LSTM 网络1
08-08
LSTM网络引入了“记忆单元”（memory cell）的概念，以及一系列门控机制（input gate、output gate和forget gate），这些机制允许网络有选择地记住或忘记信息。LSTM的每个时间步包含四个交互的层： 1. **输入门...
LSTM-matlab.rar
08-16
- 通过阅读和理解这个基础LSTM的实现，你可以更好地掌握如何在Matlab中构建和应用LSTM模型。 总的来说，LSTM在Matlab中的实现提供了处理序列数据的强大工具。通过理解和应用提供的代码，你可以进一步熟悉LSTM的...
lstm_LSTM_
10-01
**标题与描述解析** 标题"LSTM_LSTM_"暗示了我们将探讨的是Long Short-Term Memory（LSTM）神经网络模型，这是一种特殊类型...在实际项目中，理解如何构建、训练和调整LSTM网络对于提升预测准确性和模型性能至关重要。
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
CNN-LSTM Matlab源码，包括原数据
02-10
研究和理解这些代码可以帮助你深入掌握CNN-LSTM模型的实现细节，以及如何在Matlab环境中应用深度学习技术。对于初学者，这是一个很好的实践项目，而对于有经验的开发者，这可能是一个起点，用于进一步改进和优化模型...
tensorflow学习之LSTMCell详解
热门推荐
大雄没有叮当猫的博客
09-22 2万+
Class tf.contrib.rnn.LSTMCell 继承自：LayerRNNCell Aliases: Class tf.contrib.rnn.LSTMCell Class tf.nn.rnn_cell.LSTMCell 长短时记忆单元循环网络单元。默认的non-peephole是基于http://www.bioinf.jku.at/publications/older/2604...
长短时记忆网络(Long Short Term Memory，LSTM)详解
weixin_60737527的博客
10-01 1万+
长短时记忆网络(LSTM)基本原理与基于Pytorch的实现方法。
TensorFlow实战：LSTM的结构与cell中的参数
MrTriste的博客
03-25 1万+
看了关于LSTM的很多文章，感觉都讲的不错，唯独cell中的参数维度被忽略了，导致大体上能听懂，但是一涉及细节就比较模糊，所以想在这里写一篇侧重于LSTM参数维度的文章，以备大家查阅。 文章会结合TensorFlow具体的代码，基本原理的话可以先去看一下原理篇，这里默认大家都了解基本的原理，这里推荐下自己写的LSTM详解 反向传播公式推导 。 一些参数 训练的话一般一批一批训练，即让b...
LSTM长短期记忆人工神经网络简述
vendetta_gg的博客
07-02 3243
LSTM长短期记忆人工神经网络简述 By:Yang Liu 1.什么是LSTM 长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，属于时间递归神经网络(RNN)中的一种。LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 2.LSTM的结构 上图被称为memory block（记忆块），主要包含了三个门（forget gate、input gate、output gate）与
Matlab神经网络学习1——细胞数组
m0_67966500的博客
05-05 2181
前言 细胞数组常见于Matlab神经网络原理中 不同于普通矩阵，细胞数组中允许多种类型和维度的元素同时存在 细胞数组的内存空间是动态分配的，因此可以更加灵活，但是运行效率欠佳 在Matlab中，可以通过cell函数和struct来创建细胞数组（struct也称结构数组） ...
小白循环神经网络RNN LSTM 参数数量 门单元 cell units timestep batch_size
persistinlife的专栏
05-24 3340
小白循环神经网络RNN LSTM 参数数量 门单元 cell units timestep batch_size RNN循环神经网络 timestep batch_size LSTM及参数计算 keras中若干个Cell例如LSTMCell 1.RNN循环神经网络 先来解释一下 batch_size timestep 样本数据： 小明爱学习 小王爱学习 小李爱学习 小花爱学习 通常样本数据会以(batch_size, time_step, embedding_size)送入模型，对应的可以是（4
bilstm模型结构图和计算公式
12-15
BILSTM是一种双向LSTM模型，它由两个LSTM组成，一个按时间顺序处理输入序列，另一个按时间相反的顺序处理输入序列。BILSTM的计算公式如下： $$\begin{aligned} & i_t=\sigma(W_{ix}x_t+W_{ih}h_{t-1}+b_i) \\ & f_t=\sigma(W_{fx}x_t+W_{fh}h_{t-1}+b_f) \\ & o_t=\sigma(W_{ox}x_t+W_{oh}h_{t-1}+b_o) \\ & g_t=\tanh(W_{gx}x_t+W_{gh}h_{t-1}+b_g) \\ & c_t=f_t\odot c_{t-1}+i_t\odot g_t \\ & h_t=o_t\odot\tanh(c_t) \end{aligned} $$ 其中，$x_t$是输入序列的第$t$个元素，$h_t$是LSTM的隐藏状态，$c_t$是LSTM的细胞状态，$i_t$、$f_t$、$o_t$和$g_t$是输入门、遗忘门、输出门和细胞门的输出，$\sigma$是sigmoid函数，$\odot$是逐元素乘法，$W$和$b$是LSTM的权重和偏置。 BILSTM的结构图如下所示： ``` h1 | x1 -> LSTM1 -> h2 | / | x2 -> LSTM2 | | \ | 3 -> LSTM3 -> h3 | ``` 其中，LSTM1和LSTM3按时间顺序处理输入序列，LSTM2按时间相反的顺序处理输入序列。BILSTM的输出是所有时刻的隐藏状态的拼接。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值