神经网络学习笔记（三）——长短时记忆（LSTM）网络

最新推荐文章于 2024-01-29 10:34:49 发布
最新推荐文章于 2024-01-29 10:34:49 发布
阅读量1.2k 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38276778/article/details/107515903
版权
本文深入探讨LSTM网络结构，包括其三个门控机制：遗忘门、输入门和输出门，解释如何控制长期状态，并通过前向计算公式详细阐述其工作原理。此外，还提供了一个仿真实例，展示LSTM在预测余弦函数上的应用。
摘要由CSDN通过智能技术生成

LSTM网络是循环神经网络的一种特殊类型，它可以学习长期以来的信息，它是一种拥有三个“门”结构的特殊网络结构。

1.LSTM网络结构

原始RNN的隐藏层只有一个状态h，如图1（a），它对于短期的输入非常敏感。LSTM网络增加一个状态c，让它保存长期的状态，如图1（b）。

                                    

                                                                              图1

新增状态c，称为单元状态。把图1（b）按照时间维度展开，如图2所示。

  

                                                                              图2

由上图可以看出：在t时刻，LSTM网络的输入有三个，即当前时刻网络的x_i、上一时刻LSTM网络的输出值h_{t-1}以及上一时刻的单元状态c_{t-1}；LSTM的输出有两个，即当前时刻LSTM网络输出值h_t和当前时刻的单元状态c_t。注意x、c、h、c、h都是向量。

LSTM网络的关键就是怎么控制长期状态c。LSTM的思路：使用三个控制开关：第一个开关，控制继续保持长期状态c；第二个开关，控制把即时状态输入到长期状态c；第三个开关，控制是否把长期状态c作为当前的LSTM网络的输出。

2.LSTM前向计算

门实际上是一层全连接层，它的输入是一个向量，输出是一个0~1之间的实数向量。假设W是门的权重向量，b是偏置项，门可以表示为：g(x)=\sigma (Wx+b)=sigmoid(Wx+b)。门的使用就是用门的输出两项按元素乘以需要控制的向量。当门的输出为0时什么都不能通过，当输出为1时什么都能通过，因为sigmoid函数值域是(0,1)，使用门的状态是半开半闭的。

LSTM网络用两个门来控制单元状态c的内容，一个是遗忘门（Forget Gate），它决定上一时刻的单元状态c_{t-1}有多少保留到当前时刻的单元状态c_t；另一个是输出门（Input Gate）它决定了当前时刻网络的输入x_t有多少保存到单元状态

最低0.47元/天 解锁文章
shuyitingting
关注
专栏目录
深度学习学习笔记——RNN（LSTM、GRU、双向RNN）
weixin_43870329的博客
07-05 1288
前置知识 深度学习是什么 深度学习是机器学习的一个分支 由全连接网络、卷积神经网络和循环神经网络构成的结构 多层全连接网络：多层感知器 多层卷积神经网络 卷积神经网络基本结构 数据： 2D输入数据形式：[批尺寸（batchsize），高度（H），宽度(W)，通道数(特征数)(channel)]，[B, H, W, C] 2D卷积核心格式：[(卷积核心大小1，卷积核心大小2)，输入通道数(特征），输出通道数（特征）] 1D输入数据形式：[B, T, C] 1D卷积核心格式：[K, C, C2] 2
长短时记忆神经网络（LSTM-2）型介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。（LSTM-2）型引入了Ct，Ct-1记忆对神经网络的影响，这个算法的预测效果要更好。
TensorFlow入门笔记(15)长短时记忆神经网络LSTM
韦访的专栏
06-01 4162
# #作者：韦访 #博客：https://blog.csdn.net/rookie_wei #微信：1007895847 #添加微信的备注一下是CSDN的 #欢迎大家一起学习 # 1、概述 上一节说道，简单的循环神经网络不能解决长期依赖问题，那么，这节就来看看可以解决这个问题的长短时记忆神经网络LSTM。 2、网络结构 LSTM通过刻意的设计来避免长期依赖问题，先来看看标准的RNN，如下图...
长短时记忆神经网络（LSTM）
Medlen
09-24 1万+
下面为翻译文章，会稍有增删： 原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 其他人的翻译：https://www.xiemingzhao.com/posts/eff2088e.html 类似的文章：https://www.jianshu.com/p/8219ca28925e 循环神经网络 人类不会每秒都从头开始思考。 阅读本文时，您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切，重新从头开始思考。 传统的神经网络无法做到这一
【深度学习】长短时记忆神经网络
liuzhicheng1845的博客
12-24 979
长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。 ...
长短时记忆神经网络LSTM
最新发布
亦谷
01-29 2146
循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时间序列性数据的神经网络，它的每一层网络在输出时不仅会输出到下一层，同时还会输出一个隐藏状态，用于在当前层处理下一个数据样本的时候使用。因此循环神经网络当前状态的方法为：???????? = ????(???????????? + ????????????−1)。但是由于存在梯度消失的原因，在时刻 t 产生的梯度仅仅能够在时间层上传播几层就会消失，从而使得循环神经网络无法捕捉到长距离的影响。 长短时记忆网络（Long
神经网络与深度学习笔记——卷积神经网络的原理
weixin_42194139的博客
04-01 796
神经网络与深度学习笔记系列一共有五个专题，分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。第二章反向传播算法如何工作——反向传播算法原理。主要介绍了反向传播算法的工作原理。 第三章改变神经网络的学习方法——代价函数，规范化，过拟合。主要介绍了不同的代价函数，以及规范化等对传统代价函数的改造。 第四章深度神经...
TensorFlow神经网络学习笔记
qq_35578807的博客
09-27 2597
张量（tensor） 就是多维数组 阶代表张量的维数 维数 阶 名字 0-D 0 标量scalar 1-D 1 向量vector 2-D 2 矩阵 matrix n-D n 张量 tensor 张量可以表示0阶到n阶的数组（列表） 数据
吴恩达深度学习笔记——循环神经网络（RNN）
qq_35175666的博客
03-19 1573
目录 一、为什么使用序列模型（Why sequence models） 二、数学符号（Notation） 三、循环神经网络（Recurrent neural network） 四、通过时间的反向传播（Backpropagation through time） 五、不同类型的循环神经网络（Different types of RNNs） 六、语言模型和序列生成（Language mode...
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
lstm长短时记忆神经网络PPT
10-29
对lstm长短时记忆神经网络的简单介绍，包括循环神经网络的基础知识，lstm的简介和用lstm预测正弦图像的实验。
LSTM神经网络MATLAB
12-06
本资源是MATLAB代码，LSTM神经网络，用于预测分类。代码中numdely 是用前numdely个点预测当前点，cell_num是隐含层的数目，cost_gate 是误差的阈值。 直接在命令行输入RunLstm(numdely,cell_num,cost_gate)即可。
3-3长短时记忆神经网络(LSTM)--Tensorflow实现
aeoob的博客
07-15 1697
点击查看完整代码http://www.daimapi.com/neuralnetwork3_3/该代码利用Python3实现，利用到了深度学习工具包Tensorflow。TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活...
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7326
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
热门推荐
程序星空实验室
05-26 4万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
长短时记忆网络(Long Short Term Memory，LSTM)详解
weixin_60737527的博客
10-01 1万+
长短时记忆网络(LSTM)基本原理与基于Pytorch的实现方法。
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
cx1120w的博客
03-11 404
零基础入门深度学习(6) - 长短时记忆网络(LSTM)机器学习 深度学习入门 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值