TensorFlow入门笔记(15)长短时记忆神经网络LSTM

最新推荐文章于 2024-07-27 19:53:15 发布
最新推荐文章于 2024-07-27 19:53:15 发布
阅读量4.1k 收藏 10
点赞数 3
分类专栏： tensorflow 文章标签： TensorFlow LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rookie_wei/article/details/80543901
版权

#
#作者：韦访
#博客：https://blog.csdn.net/rookie_wei
#微信：1007895847
#添加微信的备注一下是CSDN的
#欢迎大家一起学习
#

 

1、概述

上一讲说到，虽然简单的循环神经网络理论上可以建立长时间间隔的依赖关系，但是由于梯度爆炸或梯度消失问题，实际上只能解决短周期的依赖关系。而引入“门机制”的LSTM (Long Short-Term Memory)可以解决这个问题。那么，这节就简单来看看LSTM的网络结构及其变体。

2、网络结构

LSTM通过刻意的设计来避免长期依赖问题，先来看看标准的RNN，如下图所示，这里的激活函数使用tanh函数，

而LSTM网络也是使用这样的结构，只是循环体用了不同的结构，如下图所示，

上图中使用的各个元素的图标的含义如下图所示，

其中，方框表示神经网络层；圆圈表示运算操作，如向量和；黑线传输着一整个向量，从一个节点的输出到其他节点的输入；合在一起的线表示向量的连接，分开的线表示内容被复制并分发到不同的位置。

3、核心思想

LSTM的核心思想是引入了细胞状态的连接，细胞状态用来存放想存放想要记忆的东西。如下图所示，

细胞状态类似于传送带，直接在整个链上运行，只有少量的线性交互，信息在上面流传保持不变很容易。

LSTM有通过精心设计的“门”结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择通过的方法，它们包含一个Sigmoid神经网络层和一个乘法操作。Sigmoid层输出0到1之间的数，描述每个部分有多少量可以通过，0代表不允许任何量通过，1表示允许任何量通过，结构如下图所示，

LSTM拥有3个门，分别是忘记门，输入门，输出门，用来保护和控制细胞状态。下面分别来介绍。

6、输出门

输出门就是通过一个Sigmoid层来确定细胞状态的哪个部分将输出出去。把细胞状态通过Tanh进行处理，得到一个-1到1之间的值，并将它和Sigmoid门的输出相乘，最终仅仅输出确定输出的部分。结构如下图所示，

7、LSTM变体

Peephole

该结构如下图所示，

这个模型增加了peepgole到每个门上，让门也接受细胞状态的输入。

 

GRU

该结构如下图所示，

这个模型将忘记门和输入门合并成一个单一的更新门，还混合了细胞状态和隐藏状态以及其他一些改动，最终使得该模型比标准LSTM模型要简单，但效果一样。

 

Tensorflow或其他深度学习框架都集成了LSTM等接口，不理解也没多大关系，会用就行。下一讲，我们就使用LSTM来实现分离音乐中的人声和背景音乐。

 

__Fang Wei__
关注
专栏目录
神经网络学习笔记（三）——长短时记忆（LSTM）网络
weixin_38276778的博客
07-25 1268
LSTM网络是循环神经网络的一种特殊类型，它可以学习长期以来的信息，它是一种拥有三个“门”结构的特殊网络结构。 LSTM网络结构 原始RNN的隐藏层只有一个状态h，如图1（a），它对于短期的输入非常敏感。LSTM网络增加一个状态c，让它保存长期的状态，如图1（b）。 图1 ...
长短时记忆神经网络python代码_LSTM（长短期记忆网络）及其tensorflow代码应用
weixin_39690958的博客
12-05 1978
本文主要包括：一、什么是LSTM二、LSTM的曲线拟合三、LSTM的分类问题四、为什么LSTM有助于消除梯度消失一、什么是LSTMLong Short Term 网络即为LSTM，是一种循环神经网络(RNN)，可以学习长期依赖问题。RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。如上为标准的RNN神经网络结构，LS...
长短时记忆神经网络（LSTM）
Medlen
09-24 1万+
下面为翻译文章，会稍有增删： 原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 其他人的翻译：https://www.xiemingzhao.com/posts/eff2088e.html 类似的文章：https://www.jianshu.com/p/8219ca28925e 循环神经网络 人类不会每秒都从头开始思考。 阅读本文时，您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切，重新从头开始思考。 传统的神经网络无法做到这一
长短期记忆网络（LSTM）
最新发布
qq_58317297的博客
07-27 841
（2）如果遗忘门始终为1且输入门始终为0， 则过去的记忆元𝐶𝑡−1 将随时间被保存并传递到当前时间步。输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。（1）输入门𝐼𝑡控制用多少来自𝐶𝑡的新数据， 而遗忘门𝐹𝑡控制保留多少过去的记忆元𝐶𝑡−1的内容。1、长短期记忆网络有三种类型的门：输入门、遗忘门和输出门。（2）遗忘门：重置单元的内容。
【深度学习】长短时记忆神经网络
liuzhicheng1845的博客
12-24 979
长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。 ...
长短时记忆神经网络LSTM
亦谷
01-29 2149
循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时间序列性数据的神经网络，它的每一层网络在输出时不仅会输出到下一层，同时还会输出一个隐藏状态，用于在当前层处理下一个数据样本的时候使用。因此循环神经网络当前状态的方法为：???????? = ????(???????????? + ????????????−1)。但是由于存在梯度消失的原因，在时刻 t 产生的梯度仅仅能够在时间层上传播几层就会消失，从而使得循环神经网络无法捕捉到长距离的影响。 长短时记忆网络（Long
3-3长短时记忆神经网络(LSTM)--Tensorflow实现
aeoob的博客
07-15 1697
点击查看完整代码http://www.daimapi.com/neuralnetwork3_3/该代码利用Python3实现，利用到了深度学习工具包Tensorflow。TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活...
长短时记忆网络（LSTM）在OCR中的应用
长短时记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（Recurrent Neural Network，RNN），由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出。相较于传统的RNN，LSTM具有更好地长期记忆...
tensorflow学习笔记（八）：LSTM手写体(MNIST)识别
ch18328071580的博客
08-06 1507
本文简单讲解了LSTM网络，然后针对MNIST数据集，讲解了LSTM进行数据集分类常用到的函数，最后给出了实战代码。
大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示
2401_84181108的博客
04-13 661
LSTM的逻辑结构通过其独特的门控机制为处理具有复杂依赖关系的序列数据提供了强大的手段。其对信息流的精细控制和长期记忆的能力使其成为许多序列建模任务的理想选择。了解LSTM的这些逻辑概念有助于更好地理解其工作原理，并有效地将其应用于实际问题。
TensorFlow神经网络学习笔记
qq_35578807的博客
09-27 2597
张量（tensor） 就是多维数组 阶代表张量的维数 维数 阶 名字 0-D 0 标量scalar 1-D 1 向量vector 2-D 2 矩阵 matrix n-D n 张量 tensor 张量可以表示0阶到n阶的数组（列表） 数据
长短时记忆神经网络（LSTM-2）型介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。（LSTM-2）型引入了Ct，Ct-1记忆对神经网络的影响，这个算法的预测效果要更好。
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
lstm长短时记忆神经网络PPT
10-29
对lstm长短时记忆神经网络的简单介绍，包括循环神经网络的基础知识，lstm的简介和用lstm预测正弦图像的实验。
基于python和tensorflow的双向长短时记忆网络代码
02-27
基于python3、tensorflow库的bilstm程序。双向长短时记忆网络。python文件。
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7334
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
热门推荐
程序星空实验室
05-26 4万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
长短时记忆网络(Long Short Term Memory，LSTM)详解
weixin_60737527的博客
10-01 1万+
长短时记忆网络(LSTM)基本原理与基于Pytorch的实现方法。
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
cx1120w的博客
03-11 404
零基础入门深度学习(6) - 长短时记忆网络(LSTM)机器学习 深度学习入门 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不...
长短时记忆神经网络(lstm)介绍及公式推导
01-19
长短时记忆神经网络（LSTM）是一种特殊类型的循环神经网络（RNN），它能够有效地处理和预测时间序列数据。相比于传统的RNN，LSTM能够更好地解决长期依赖和梯度消失问题。 LSTM的核心思想是通过门控机制来控制信息的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值