Tensorflow 循环神经网络03 LSTM长短时记忆神经网络

最新推荐文章于 2023-09-16 18:07:49 发布
最新推荐文章于 2023-09-16 18:07:49 发布
阅读量206 收藏 2
点赞数
分类专栏： 机器学习 深度学习 Python 文章标签： python 神经网络 机器学习 tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44056948/article/details/113106352
版权
机器学习 同时被 3 个专栏收录
65 篇文章 10 订阅
订阅专栏
Python
61 篇文章 6 订阅
订阅专栏
深度学习
39 篇文章 2 订阅
订阅专栏

LSTM是RNN的一个改进版，其主要目的是解决RNN因为网络中输入的序列过长，丢失了之前的信息的情况

回顾一下原来的RNN

下面这张图展示的是SimpleRNN的一个网络结构

这样的一个链式结构LSTM也是继承了的，但是其中的repeating module 有了不同的结构表现形式，也就是对应的门式结构，如下图所示，黄色方框表示的神经网络层，粉色的圈是矩阵运算符号接下来逐个介绍其中的门（一共3个）

首先是LSTM的核心思想，Cell stateL=》“细胞状态”(cell state)来刻画神经元的记忆中，不太容易衰减的部分，并围绕细胞状态构造长期记忆，而其中门是一种决定之前的记忆信息是否能够通过继承到下一次的方法，其中由一个sigmoid激活函数和一个矩阵乘法运算构成，用以控制cell state（细胞状态）

第一个门是Forget gate，其具体计算如下，里边的控制变量即其输出的ft

第二个是输入门，这里引入了一个决策变量it和一个中间变量波浪ct，其中it是与ht-1和xt相关的经过sigmoid和w矩阵乘得到的，波浪ct则是使用的tanh函数同样是与ht-1和xt相关的量

第二段输入门，这里输入门，Ct由上一次的输入Ct-1和波浪Ct决定，Ct-1是代表的之前的记忆信息，其决策变量为ft如果ft=1则全部继承，ft=0则相当于忘记了之前的记忆信息只考虑后面那一项波浪Ct，而it与ft类似，主要是配合来决定我们每次以什么样的程度继承之前的记忆信息。

最后一个是输出层，这个不多解释了产生两个输出ot是这一个节点的输出，ht会进入下一次循环，其公式略有不同，这里是因为我们要把ht构建成一个【-1,1】的变量而ot是作为输出来进行反馈梯度下降的变量

最后整合一下前面的过程放几张图整体理解下：

最后一张是解释了LSTM是如何解决梯度消失的问题的，这里容易理解之前的梯度消失是因为链式求导的过程中出现了WR的i次方，这个在前边的那一块介于0-1或者>1时都会出现对应的梯度爆炸和梯度弥散的现象，这里最后的链式求导由于引入了门的概念，Ct-1，波浪Ct,it和ft之间相互制衡，即便是出现了对应的Wf得i-1次方或者Wi的i-1次方等都会有另一个变量制衡，这样一定程度上减缓了梯度弥散的问题，当然也不是绝对的；讲了一堆理论，实战部分请参看后边的GRU实战，因为LSTM和GRU差别不大我没有额外单独做LSTM的了

小刘鸭！
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
长短时记忆神经网络python代码_LSTM（长短期记忆网络）及其tensorflow代码应用
weixin_39690958的博客
12-05 1963
本文主要包括：一、什么是LSTM二、LSTM的曲线拟合三、LSTM的分类问题四、为什么LSTM有助于消除梯度消失一、什么是LSTMLong Short Term 网络即为LSTM，是一种循环神经网络(RNN)，可以学习长期依赖问题。RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。如上为标准的RNN神经网络结构，LS...
LSTM长短记忆的简单调用
05-15
在本文中，我们将深入探讨如何使用Python编程语言和Keras库来实现长短时记忆网络（LSTM），这是一种常用于处理序列数据的深度学习模型。同时，我们还将介绍如何结合scikit-learn（sklearn）库来进行模型评估，以确定...
深度学习与神经网络（十）—— LSTM
hxxjxw的博客
05-22 2227
LSTM——long short-term memory LSTM能够解决梯度弥散的情况。LSTM还解决了记忆长度的问题 以前RNN只能记住比较短的时间序列，LSTM就把短的short-term给你延长了，所以才叫long short-term memory 我们之前学的RNN就是最基本的RNN版本，它也就是short-term memory 我们换一种画法 Wxh也叫Wih 这就是原始的RNN的表达结构 设计了三道闸门 sigmoid函数 闸门的结构 三道门输...
循环神经网络RNN和长短期记忆网络LSTM学习笔记
qq_29380039的博客
08-10 1115
文章目录一、RNN二、LSTM 一、RNN 首先思考一个问题，为什么需要RNN？ 神经网络只能处理孤立的的输入，每一个输入之间是没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的，例如音频、视频、句子等。 RNN较神经网络的不同是它将上一时刻的输出作为输入一起传入网络中，从而将输入联系起来。 序列依次进入网络中，之前进入序列的数据会保存信息而对后面的数据产生影响。图中X0X1…Xn不是同一时刻输入网络的，图中代表的是时间维度，实际上整个网络只有一个A单元，例如t=
深度学习之循环神经网络（8）长短时记忆网络（LSTM）
weixin_43360025的博客
10-07 1703
深度学习之循环神经网络（8）长短时记忆网络（LSTM）0. LSTM原理1. 遗忘门2. 输入门3. 刷新Memory4. 输出门5. 小结  循环神经网络除了训练困难，还有一个更严重的问题，那就是短时记忆（Short-term memory）。考虑一个长句子： 今天天气太美好了，尽管路上发生了一件不愉快的事，…，我马上调整好状态，开开心心地准备迎接美好的一天。 根据我们的理解，之所以能够“开开心心地准备迎接美好的一天”，在于句子最开始处点明了“今天天气太美好了”。可见人类是能够很好地理解长句子的，但是循环
TensorFlow入门笔记(15)长短时记忆神经网络LSTM
韦访的专栏
06-01 4136
# #作者：韦访 #博客：https://blog.csdn.net/rookie_wei #微信：1007895847 #添加微信的备注一下是CSDN的 #欢迎大家一起学习 # 1、概述 上一节说道，简单的循环神经网络不能解决长期依赖问题，那么，这节就来看看可以解决这个问题的长短时记忆神经网络LSTM。 2、网络结构 LSTM通过刻意的设计来避免长期依赖问题，先来看看标准的RNN，如下图...
神经网络学习小记录3——利用tensorflow构建长短时记忆网络（LSTM）
Bubbliiiing的学习小课堂
08-13 7490
神经网络学习小记录3——利用tensorflow构建长短时记忆网络（LSTM）学习前言LSTM简介1、RNN的梯度消失问题2、LSTM的结构3、LSTM独特的门结构tensorflow中RNN的相关函数tf.contrib.rnn.BasicLSTMCelltf.nn.dynamic_rnn全部代码 学习前言 又出去快乐的玩耍了，但是不要忘了学习噢。 LSTM简介 1、RNN的梯度消失问题 在过...
深度学习-循环神经网络TensorFlow
LaoChen_ZeroonE
05-14 1251
深度学习-循环神经网络TensorFlow循环神经网络结构长短时记忆网络（LSTM）结构TensorFlow实现LSTM双向循环神经网络TensorFlow实现BiLSTM深层循环神经网络TensorFlow实现多层LSTM 循环神经网络结构 下图是一个典型的循环神经网络。循环神经网络的主体结构A的输入除了来自输入层xt，还有一个循环的边来提供上一时刻的隐藏状态ht−1。在每一时刻，循环神经网络的模块A在读取了xt和ht−1之后会生成新的隐藏状态ht，并产生本时刻的输出ot。循环神经网络当前的状态ht是根据
深度学习-43:长短时记忆神经网络(LSTM)
热门推荐
智能多媒体
10-14 3万+
深度学习-43:长短时记忆神经网络(LSTM) 深度学习原理与实践(开源图书)-总目录 长短时记忆神经网络(Long Short-term Memory Networks,LSTM)是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广。STM 通过刻意的...
国庆中秋特辑（一）浪漫祝福方式 用循环神经网络（RNN）或长短时记忆网络（LSTM）生成祝福诗词
最新发布
Web3 & Basketball
09-16 4116
为了使用人工智能技术生成诗词，我们可以使用深度学习中的循环神经网络（RNN）或长短时记忆网络（LSTM）来学习诗词的结构和语义。
class6_LSTM_pythonLSTM_python实现的LSTM长短时记忆网络_RNN_gru_
10-03
在本文中，我们将深入探讨标题和描述中提及的“class6_LSTM_pythonLSTM_python实现的LSTM长短时记忆网络_RNN_gru”，这显然与深度学习中的序列模型相关，特别是LSTM（长短时记忆网络）和GRU（门控循环单元）。...
TensorFlow平台上基于LSTM神经网络的人体动作分类.pdf
09-26
在本文中，作者探讨了如何在TensorFlow平台上利用长短时记忆网络（LSTM）进行人体动作分类。LSTM是一种特殊的循环神经网络（RNN），它能够处理和学习长期依赖关系，这在时间序列数据如人体动作序列中尤其有用。下面...
代码+基于神经网络(堆栈自编码SAEs、长短时神经网络LSTM、门循环单元GRU)的交通预测包含数据集
03-25
基于神经网络(堆栈自编码SAEs、长短时神经网络LSTM、门循环单元GRU)的交通流预测 Python 3.6 Tensorflow-gpu 1.5.0 Keras 2.1.3 scikit-learn 0.19 交通流预测
主成分分析和长短时记忆神经网络预测水产养殖水体溶解氧.pdf
09-26
LSTM是一种特殊的循环神经网络（RNN），尤其适合处理时间序列数据中的长期依赖问题。LSTM网络能捕捉到溶解氧变化的动态模式，因为它具有记忆单元和门控机制，可以有效地记住过去的信息并在需要时释放，从而解决传统...
mnist数据集下载地址
weixin_44056948的博客
04-14 1万+
链接：https://pan.baidu.com/s/1JVzVOx9vxAn_tBeXsbAf_g 密码：locq MNIST数据集介绍 MNIST数据集官网：http://yann.lecun.com/exdb/mnist/ MNIST数据库是非常经典的一个数据集，就像你学编程起初写一个“Hello Word”的程序一样，学Deep Learning你就会写识别MNIST数据集的Model。 MNIST数据集是由0〜9手写数字图片和数字标签所组成的，由60000个训练样本和10000..
SNPE安装+Qualcomm高通AI神经网络处理SDK部署流程
weixin_44056948的博客
07-29 6544
Qualcomm高通AI神经网络处理SDK部署流程 系统要求 我们建议在专用机器上执行以下操作，以更好地了解 SDK 依赖关系： 安装 Ubuntu 18.04 （推荐），例如在虚拟机上。 安装pyenv 执行以下命令进行自动安装 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash 重启shell生效: exec $SHELL 查看~/.bashrc中是否有以下三行，若没有则手
Python 机器学习 随机森林 天气最高温度预测任务（一）
weixin_44056948的博客
08-18 6490
我们要完成三项任务： 使用随机森林算法完成基本建模任务 基本任务需要我们处理数据，观察特征，完成建模并进行可视化展示分析 观察数据量与特征个数对结果影响 在保证算法一致的前提下，加大数据个数，观察结果变换。重新考虑特征工程，引入新特征后观察结果走势。 对随机森林算法进行调参，找到最合适的参数 掌握机器学习中两种经典调参方法，对当前模型进行调节 # 数据读取 import pandas as pd features = pd.read_csv('data/temps.csv') features.
阿里天池供应链需求预测（二）
weixin_44056948的博客
12-09 4412
阿里天池供应链需求预测第二阶段总结 一、已尝试的模型和存在的问题： LSTM单变量多步预测模型：通过循环迭代预测，实现了通过前42天的历史需求数据来预测未来14天的库存资源需求量；但是目前由于有的Unit的历史数据非常少，导致LSTM往往处于一种过拟合的状态，预测的效果非常的差。 由第一次的尝试的经过我们选用了比较传统经典的模型ARIMA，这里总结回顾一下ARIMA的一个完整流程： 1.数据准备与预处理 Train_dt = read_csv('train.csv')[['unit','ts','
"深入了解循环神经网络(RNNs)：识别时间模式，处理序列数据
Tensorflow循环神经网络详解 尽管卷积神经网络（CNNs）在图像分类方面表现出色，能够关注到平移和旋转，但它们却不能识别时间模式。从根本上来说，我们可以认为CNNs只能识别静态模式。而循环神经网络（RNNs）则是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值