LSTM初探

最新推荐文章于 2023-08-19 10:30:15 发布
最新推荐文章于 2023-08-19 10:30:15 发布
阅读量423 收藏
点赞数
分类专栏： 机器学习 文章标签： lstm 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/an819821664/article/details/128421006
版权

LSTM（长短时记忆网络，long short term memory）是一种时间递归神经网络，属于循环神经网络，适合用于处理和预测时间序列的事件，特点在于解决长依赖问题。LSTM能够解决长期依赖问题是因为引入了“门”机制（在训练过程中会去学习该保存或遗忘哪些信息，主要是一个sigmoid层和一个点乘操作的组合）来控制特征的流通和损失。

黄色长框：神经网络层；粉色圆圈：元素级别操作；相交的箭头：向量拼接；分发的箭头：复制分发标题

 LSTM结构

LSTM主要由3个门（遗忘门、输入门、输出门）和2个状态（细胞状态C_t和隐藏状态h_t）组成，三个门控制细胞状态，细胞状态通过与遗忘向量点乘进行信息的丢弃和加入选择，输出门输出隐藏状态的值。

  • 遗忘门：决定丢弃哪些信息。如下图所示，来自上一个步长的隐藏状态（h_{t-1}）和当前输入（x_t）的信息，通过激活函数sigmoid确定是否丢弃（0丢弃、1保留）C_{t-1}的哪些信息。

注意：f_t是一个元素值范围为\left [ 0, 1 \right ]的向量，这个向量决定了C_{t-1}中的那些特征可以用于计算C_t。

  • 输入门：决定添加那些信息。如下图所示，输入门有三个部分:
  1. h_{t-1}和x_t通过激活函数sigmoid确定增加哪些信息i_t；
  2. h_{t-1}和x_t通过tanh层得到新的信息\tilde{C_t}；
  3. 将1和2的输出值进行点乘，第一部分的输出值决定了第二部分输出值的占比、丢弃、保留。 

注意：在整个流程中，其实第一部分才算是一个输入门的过程，第三部分和遗忘门的操作是一样的，对第二部分（经过处理后的\tilde{C_t}）的去留操作。 

 

  • 输出门：用来确定下一个步长的输入。如下图所示，和输入门过程类似，包含三个部分：
  1. h_{t-1}和x_t通过函数sigmoid确定o_t；
  2. 将C_t通过tanh层得到新的信息；
  3. 将1和2的信息相乘的到h_t，将 h_t（新的隐藏状态）和C_t（新的细胞状态）传递到下一个时间步长中去。 

 

 

与RNN的区别

  1. RNN没有细胞状态的概念，LSTM通过细胞状态进行长时间记忆；

  2. RNN的激活函数只有tanh，LSTM中引入了sigmoid函数，并结合tanh函数进行点乘操作；

  3. RNN处理短时依赖，LSTM同时兼顾短时和长期依赖。

 

 

 

 

一本糊涂张
关注
专栏目录
【深度学习】 基于Keras的Attention机制代码实现及剖析——LSTM+Attention
乐川大佛的博客
12-11 5万+
说明 大部分代码来源于网上，但网上的代码一下子可能难以入门或因版本原因报错，此处整理后进行详细分析。   参考的代码来源1：Attention mechanism Implementation for Keras.网上大部分代码都源于此，直接使用时注意Keras版本，若版本不对应，在merge处会报错，解决办法为：导入Multiply层并将attention_dense.py第17行的： att...
embedding、LSTM、seq2seq+attention的知识总结
weixin_40982849的博客
10-05 752
一、 embedding 1. input : [ seqlen , batchsize ] 2. output: [ seq_len, batchsize, embed_dim ] 二、 LSTM 输入： 1. input: [ seq_len, batch, input_size] 2. h0 : [ num_layers * num_directions,batch_size,hidden_size ] 输出： 1. out: [ seq_len, batch, num_directions
RNN结构有什么问题？LSTM解决了RNN什么问题？怎么解决的？
jq_98的博客
10-10 5193
1、减少参数量，使得训练更加容易，减少训练难度2、它有助于将模型应用于不同长度的示例。在读取序列时，如果RNN模型在训练期间的每个步骤使用不同的参数，则不会将其推广到看不见的不同长度的序列。通常，序列会根据整个序列的相同规则进行操作。“星期一下雪了”“星期一在下雪”虽然细节在序列的不同部分中，但这两个句子的含义相同。参数共享反映了我们在每一步都执行相同任务的事实，因此，我们不必在句子的每一点都重新学习规则。为什么LSTM(Long Short-Term Memory)为什么叫长短期记忆网络。
深度学习之 12 循环神经网络RNN2
水w的博客
08-10 3037
循环神经网络RNN2
第08章 长期依赖与优化策略
a1234556667的博客
08-28 1944
本章介绍深度学习算法-循环神经网络，主要介绍循环神经网络面临的长期依赖问题与相应的优化策略，包括多时间尺度、渗漏单元、梯度阶段、信息流正规化以及门控 RNN: LSTM 与 GRU。优化长期依赖问题时，实际应用中最有效的序列模型称为门控 RNN(Gated RNN), 包括基于长短期记忆(Long Short-Term Memory) 与基于门控循环单元(Gated Recurrent Unit) 的网络像渗漏单元一样，门控 RNN 基于生成通过时间的路径，其中导数既不消失也不爆炸。...
理解LSTM网络（翻译）
RyanSheep的博客
12-19 4997
Translated on December 19, 2015 本文为博客《Understanding LSTM Networks》的翻译文章 原文链接: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Recurrent Neural Networks人们思考问题时，不会在每一秒都从头开始想，而不考虑以往的记忆和经验。比如，读这篇
LSTM长短期记忆网络
十三
12-22 1004
RNN可以很好的解决了变长的文本数据和有序的输入序列。可以对文章中从前到后的单词进行顺序编码，将前面有用的信息存储在状态向量，从而拥有一定的记忆能力，可以更好的理解之后的文本。网络结构如下 但由于RNN存在梯度消失和爆炸的问题，RNNs不能完美的学习“长期依赖”。 LSTM被明确的设计用来解决长期依赖问题，记住有价值的信息，从而减少循环神经网络的学习难度。 LSTM在传统RNN的基础上，增加了 输入门iti_tit​：计算当前计算的新状态以多大的程度更新到记忆单元，结果是向量，取值0-1之间，控制各
基于LSTM深度神经网络的精细化气温预报初探.pdf
09-26
【基于LSTM深度神经网络的精细化气温预报初探】这篇研究主要探讨了如何利用Long Short-Term Memory（LSTM）深度神经网络进行精细化气温预测。LSTM是一种特殊类型的循环神经网络（RNN），特别适合处理时间序列数据，...
RNN和LSTM在Python中的应用初探
RNN和LSTM简介 ## 1.1 什么是循环神经网络（RNN） 循环神经网络（Recurrent Neural Network，RNN）是一种具有记忆能力的人工神经网络，可以对序列数据进行建模和预测。相比于传统神经网络，RNN在处理序列数据时...
初探CNN-SSA-BiLSTM模型原理与应用
CNN-SSA-BiLSTM模型作为其中的一种新兴模型，结合了卷积神经网络、自注意力机制和双向长短期记忆网络，取得了很好的效果。 本文将首先介绍背景和意义，然后详细探讨CNN-SSA-BiLSTM模型的原理和应用。希望通过对该...
循环神经网络的长程依赖问题及解决方法
最新发布
xinxin的博客
08-19 1061
RTRL算法和BPTT算法都是基于梯度下降的算法，分别通过前 向模式和反向模式应用链式法则来计算梯度．。循环神经网络就可以按照前馈网络中的反向传播算法计算参数梯度．。算法的主要思想是通过类似前馈神经网络的错误反向传播算法。因此参数的真实梯度是所有 “展开层” 的参数梯度之和。算法需要保 存所有时刻的中间梯度，是通过前向传播的方式来计算梯度。参数的梯度需要在一个完整的。循环神经网络的参数学习之法_做程序员的第一天的博客-CSDN博客。循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题，
详解 LSTM
aliceyangxi1987的博客
06-18 6697
今天的内容有： LSTM 思路 LSTM 的前向计算 LSTM 的反向传播 关于调参 LSTM长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。长短时记忆网络的思路：原始 RNN 的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 再增加一个状态，即c，让它来保存长期
【深度学习】：长期依赖与LSTM
bqw的博客
10-19 6845
  参考文献： [1]. http://colah.github.io/posts/2015-08-Understanding-LSTMs/ [2]. https://www.jianshu.com/p/9dc9f41f0b29 [3]. Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning....
5-1 自然语言处理NLP-RNN、RNN长程依赖导致的梯度问题、LSTM、GRU、LSTM前向代码实现
记录与分享AI资料与学习过程
04-06 1301
自然语言处理NLP-RNN、RNN长程依赖导致的梯度问题、LSTM、GRU、LSTM前向代码实现 RNN发生梯度消失的原因是什么？ RNN中梯度问题是长程依赖导致的远距离的梯度更新问题，和DNN中的梯度消失有所不同。RNN中梯度本身不会消失，但是远距离时间步产生的梯度会消失。 遇到梯度爆炸可以尝试的解决方法 RNN中使用ReLU可以解决梯度消失问题吗？ GRU和LSTM的差别 LSTM为什么能够解决梯度消失/爆炸的问题？ pytorch实现LSTM前向传播过程
【学习笔记】《深度学习与神经网络》——邱锡鹏
CodeLuweir 的博客
12-22 8214
一、绪论 人工智能的一个子领域 神经网络：一种以（人工)）神经元为基本单元的模型 深度学习：一类机器学习问题，主要解决贡献度分配问题 知识结构： 路线图： 顶会： 1.1 人工智能 诞生：人工智能这个学科的诞生有着明确的标志性事件，就是1956年的达特茅斯(Dartmouth)会议。在这次会议上，“人工智能” 被提出并作为木研究领域的名称。 人工智能=计算机控制+智能行为； 人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。 ——John McCarthy ( 1927-201
LSTM总结
Nick Hwong's Blogs
04-09 1131
LSTM 参考博客：https://www.jianshu.com/p/dcec3f07d3b5 idea 原始的RNN隐藏层只有一种状态，对于短期短期输入非常敏感。为了使RNN解决长距离依赖问题，LSTM增加了一个状态c来保存长期状态，称为cell state details 关键问题 - 如何控制长期状态c？ 使用三个控制开关 遗忘门（forget gate）：决定上一时刻的ce...
长期依赖问题
qq_40231344的博客
08-14 1237
长期依赖问题 RNN面临的最大挑战就是无法解决长期依赖问题。例如对下面两句话： 最后的was与were如何选择是和前面的单复数有关系的，但对于简单的RNN来说，两个词相隔比较远，如何判断是单数还是复数就很关键。长期依赖的根本问题是，经过许多阶段传播后的梯度倾向于消失（大部分情况）或爆炸（很少，但对优化过程影响很大）。对于梯度爆炸是很好解决的，可以使用梯度修剪（Gradient Clipping），即当梯度向量大于某个阈值，缩放梯度向量。但对于梯度消失是很难解决的。 ————————————————..
理解LSTM网络
Deep Learning and NLP Farm
11-16 3458
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
LSTM原理
辰出灬子归
05-31 2608
前言 Tip：        该博客里的内容是博主学习的一些心路历程，期间也会查阅一些其他博客和文献，还有一些自己的理解，可能会存在一些理解不正确的地方。如果阅读这篇博客请带着学习和质疑两种心态。如有问题，欢迎指出。 LSTM理论 1.LSTM介绍        LSTM（Long Sho...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值