从循环神经网络（RNN）到长短期记忆网络（LSTM）

最新推荐文章于 2024-04-15 11:25:53 发布
最新推荐文章于 2024-04-15 11:25:53 发布
阅读量264 收藏
点赞数 6
分类专栏： 深度学习 文章标签： lstm rnn 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57019146/article/details/134533493
版权

前言：

      大部分模型都只能处理单独的输入，然而，当某些任务需要提取各个输入之间的时序信息时，只对每个输入进行单独的处理是不够的，需要处理的是将各个输入连成的整个序列，基于此RNN诞生了！

        循环神经网络（Recurrent Neural Network，RNN）是一类以序列数据为输入，在序列的演进方向进行递归（RNN 之所以被称为递归，是因为它们对序列的每个元素执行相同的任务，输出依赖于先前的计算）且所有节点（循环单元）按链式连接的递归神经网络。

RNN结构：

        RNN与传统NN模型最大的区别在于：隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

f1,f2为激活函数。 

RNN的沿时间反向传播”（Back-Propagation Through Time，BPTT）：

        由前向传播得到预测值与真实值构建损失函数，记为L，使用梯度下降最小化损失函数（以U为例）：

        从上述过程中我们不难发现：对权重矩阵求偏导时会出现激活函数的导数的累乘，因此当t较长时会出现“梯度爆炸”或者“梯度消失”的现象。

 LSTM：

      传统的RNN结构能够在序列数据上学习短时依赖关系，但是由于“梯度消失”和“梯度爆炸”问题，RNN在处理长序列时难以达到很好的性能。为了克服这种缺陷，LSTM应运而生！

LSTM通过引入记忆细胞、输入门、输出门和遗忘门的概念，能够有效地解决长序列问题。

  1. 记忆细胞（memory cell）： 它是 LSTM 的核心，负责保存重要的信息，并将这些信息传递给后面的网络层。
  2. 遗忘门（forget gate）： 决定了记忆细胞中的信息是否被遗忘，能够控制记忆细胞中保存的信息会不会消失。
  3. 输入门（input gate）：决定了当前输入信息是否写入记忆细胞，能够控制输入信息对记忆细胞的影响。
  4. 输出门（output gate）：决定了记忆细胞中的信息是否输出，能够控制记忆细胞中保存的信息会不会对后面的网络层造成影响。

 

        与RNN相比，LSTM增加了一条时间链（c，细胞状态），同时增加了两条链之间的关联，以t时刻为例，计算隐藏层状态s_{t}时，不仅需要输入x_{t}和前一时刻s_{t-1}还要包含当前的细胞状态c_{t}。

 

       “门”的结构：门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个按位的乘法操作。Sigmoid 层输出0到1 之间的数值，描述每个每个部分有多少量可以通过。0 代表“不许任何量通过”，1 指“允许全部量通过”！(图中的每个\sigma 都表示sigmoid函数）

LSTM中信息流动

       第一步：通过遗忘门决定从细胞状态中丢弃什么信息，该门会读取 h_{t-1}和 x_{t-1}，输出一个在 0 到 1 之间的数值给每个在细胞状态c_{t-1}中的数字。1 表示“完全保留”，0 表示“完全舍弃”。

 

        第二步：确定什么样的新信息被存放在细胞状态中。包含两个部分。第一，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量\tilde{c}_{t}，会被加入到状态中。 

     第三步：更新旧细胞状态，c_{t-1}更新为c_{t} 。把旧状态与f_{t} 相乘，丢弃掉我们确定需要丢弃的信息，接着加上i_{t}*c\tilde{}_{t}。这就是新的候选值，根据我们决定更新每个状态的程度进行变化。 

        第四步：确定输出值。首先，运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，把细胞状态通过 tanh 进行处理（得到一个在-1到1之间的值）并将它和 sigmoid 门的输出相乘，最终仅仅会输出我们确定要输出的那部分。 

 

 参考文献：

  1.  循环神经网络 - 知乎 (zhihu.com)循环神经网络 - 知乎
  2.  RNN的梯度消失_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1e5411K7oW?p=3&spm_id_from=pageDriver&vd_source=da6dc6044cb00c195c05c3e837cbc77d
  3.  递归神经网络教程，第 1 部分 – RNN 简介 ·Denny的博客 (dennybritz.com)https://dennybritz.com/posts/wildml/recurrent-neural-networks-tutorial-part-1/
  4. 【LSTM长短期记忆网络】3D模型一目了然，带你领略算法背后的逻辑_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1Z34y1k7mc/?spm_id_from=333.337.search-card.all.click&vd_source=da6dc6044cb00c195c05c3e837cbc77d
  5.  理解 LSTM 网络 - 简书 (jianshu.com)https://www.jianshu.com/p/9dc9f41f0b29
机器滴小白
关注
  • 6
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文看懂从 RNN 到 LSTM
大数据技术派
07-24 653
来自 |知乎 作者 |陈诚链接 | https://zhuanlan.zhihu.com/p/32085405这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的...
RNN
热门推荐
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
循环神经网络（RNN）与长短时记忆网络（LSTM）
最新发布
AcceptedLin的博客
04-15 257
循环神经网络（RNN）是一种用于处理序列数据的神经网络，它具有时间递归的结构，可以将前一个时间步的输出作为当前时间步的输入。RNN在自然语言处理、语音识别、时间序列预测等领域有广泛应用。但是，RNN存在梯度消失和梯度爆炸等问题，这使得RNN在处理长序列时效果不佳。长短时记忆网络（LSTM）是一种改进的RNN，它能够解决RNN存在的梯度问题。LSTM引入了门控机制，可以选择性地忘记、保存或读取信息，使其在处理长序列时具有更好的表现。
理论——RNN（循环神经网络）与LSTM（长短期记忆神经网络）
小熊的博客
03-13 5083
CNN与LSTM的理论
循环神经网络(RNN)之长短期记忆(LSTM)
深度学习领域优质创作者，CSDN博客专家
08-29 1011
模仿人类大脑带入一个记忆细胞的概念
如何从RNN起步，一步一步通俗理解LSTM
weixin_42692506的博客
07-29 1198
转自https://blog.csdn.net/v_july_v/article/details/89894058 如何从RNN起步，一步一步通俗理解LSTM 前言 提到LSTM，之前学过的同学可能最先想到的是ChristopherOlah的博文《理解LSTM网络》，这篇文章确实厉害，网上流传也相当之广，而且当你看过了网上很多关...
长短期神经网络lstm ，rnn神经网络
02-20
在深度学习领域，循环神经网络（Recurrent Neural Networks, RNN）和长短期记忆网络（Long Short-Term Memory, LSTM）是两种广泛使用的序列建模技术。这些模型尤其适用于处理具有时间依赖性的序列数据，如自然语言...
基于循环神经网络CNN+长短期记忆网络的锂离子电池SOC估计方法
07-05
2. **长短期记忆网络（LSTM）**：LSTM是循环神经网络（RNN）的一种变体，特别适合处理序列数据。电池的充放电过程具有明显的时序依赖性，LSTM能记住过去的上下文信息，避免了传统RNN的梯度消失问题。在本项目中，...
PyTorch 实现 循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元网络（GRU）-谢TS的博客.pdf
07-17
在PyTorch中实现循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环单元网络（GRU）是深度学习中处理序列数据的关键技术。这些模型主要用于捕捉序列数据中的时间依赖性和长期依赖性，比如自然语言处理、语音...
RNN-LSTM卷积神经网络Matlab实现.zip
09-07
在本项目中，我们主要探讨的是如何在Matlab环境下实现循环神经网络（RNN）以及其特殊变体长短期记忆网络（LSTM）用于数据拟合。这些神经网络模型广泛应用于序列数据处理，如自然语言处理、语音识别、时间序列预测等...
从RNN到LSTM笔记
qq_41076995的博客
04-12 351
RNN（递归神经网络） ​ 循环神经网络是一种特殊的神经网络结构，他是具有记忆功能，是一个序列模型，原则上来说只考虑时间先后顺序的问题都可以用RNN来解决。 ​ 从上图我们可以看出，输入x，然后特征提取后得到，s = w * x + b，这部分数据可以直接输出得到O，然后这部分数据再放入记忆模块，再和下一次输入一起做特征提取，也就是每一次的输出都是前面的输入提取到特征的结果。 ​ 在t =...
理解LSTM网络
Deep Learning and NLP Farm
11-16 3390
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
从RNN到LSTM
_计算机好苦
06-01 195
一个词汇表示成一个Vector 输入一个向量，第n个词的输入和第n-1个词的输出相加，然后生成第n个词的概率 多层的 两种Network 两边同时进行RNN，除了可以获取从头到尾的信息，还能获取从尾到头的信息。 LSTM **一个局部LSTM：**每个f(x)函数都是用的sigmoid函数，就是生成0~1的值来表示这个阀门的打开程度大小。 流程：输入向量，输入门(Input Gate)以一定概率控制输入输入，遗忘门(Forget Gata)一一定概率记住这个值，然后输出门(Output Gate
循环神经网络(RNN) 和 长短期记忆网络(LSTM)
看正好六个字的博客
12-31 3681
循环神经网络(RNN) 循环神经网络是一种用于处理序列数据的神经网络。 RNN 的输入输出：用「动图」和「举例子」讲讲 RNN 右侧是 RNN 在时间上进行展开的示意图。这个过程由 Encoder完成，目的是从序列输入中依次提取数据并将其编码为向量(表示输入)。 对于第时刻，是当前时刻的输入，用于实时更新状态；是上一隐藏层的状态，用于记忆状态(对于文本而言，就是前文留下的对推断后文有用的信息)。 基于 Encoder-Decoder 的 RNN 模型可应用于机器翻译，输入是英文句...
从RNN到LSTM剖析
A11021103的博客
12-21 3359
从RNN到LSTM剖析   (2017-10-23 09:05:32) 转载▼ 标签：  rnn   lstm   原理   剖析 分类： 机器学习        RNN是循环神经网络，主要处理和时序相关的网络。而LSTM是RNN的进化版本，解决了RNN中存在的梯度爆炸或者梯度消失的问题。       
深度学习-循环神经网络RNN、长短期记忆LSTM、门限循环单元GRU理解
ssshyeong的博客
03-29 3274
RNN 是包含循环的网络，允许信息的持久化。LSTM是一种 RNN 特殊的类型，可以学习长期依赖信息。GRU 基于这样的想法在保留长期序列信息下减少梯度消失问题。本文主要整合相关内容，对这几个机制进行简单介绍。
深度学习基础：RNN与LSTM
LL的博客
09-19 1万+
这一篇主要是想根据Google的Colah的文章《Understanding LSTM Networks》阐述一下什么是LSTM（Long Short Time Memory）网络。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值