长短记忆神经网络（LSTM，Long Short-Term Memory）

最新推荐文章于 2024-01-29 10:34:49 发布
最新推荐文章于 2024-01-29 10:34:49 发布
阅读量955 收藏
点赞数
分类专栏： 机器学习 文章标签： 神经网络 lstm 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40541102/article/details/129281917
版权
长短记忆神经网络定义

长短记忆神经网络（Long-short term memory, LSTM）是一种特殊的RNN结构。该神经网络可以有效保留历史信息，实现对文本的长期依赖信息进行学习。

关键问题：控制长期状态信息

解决方法：门控开关
  1. 门的定义：使用门（Gate）实现对图1中开关的控制。所谓的门，即全连接层的一个神经元，如图2所示。门的激活有两种形式： s i g m o d sigmod sigmod和 t a n h tanh tanh

  1. 门控实现：LSTM网络由输入门 ( i n p u t   g a t e ) (input \ gate) (input gate)、遗忘门 ( f o r g e t   g a t e ) (forget \ gate) (forget gate)、输出门 ( o u t p u t   g a t e ) (output \ gate) (output gate)和一个记忆单元 ( c e l l ) (cell) (cell)来实现历史信息的更新和保留，如图3所示。

  • 门限开关控制
    遗忘门 f t f_t ft​：决定保留多少上一时刻单元状态信息 c t − 1 c_{t - 1} ct−1​到当前时刻的记忆单元 c t c_{t} ct​中。
    f t = s i g m o i d ( W f ⋅ [ a t − 1 , x t ] + b f ) . {f_t} = sigmoid\left( {{W_f} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_f}} \right). ft​=sigmoid(Wf​⋅[at−1​,xt​]+bf​).
    输入门 i t i_t it​：决定保留多少当前时刻的输入信息 x t x_t xt​到当前时刻的记忆单元 c t c_{t} ct​中。
    i t = s i g m o i d ( W i ⋅ [ a t − 1 , x t ] + b i ) . {i_t} = sigmoid\left( {{W_i} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_i}} \right). it​=sigmoid(Wi​⋅[at−1​,xt​]+bi​).
    输出门 o t {o_{t}} ot​：决定控制多少当前时刻的记忆单元 c t c_{t} ct​的输出值 o t {o_t} ot​。
    o t = s i g m o i d ( W o ⋅ [ a t − 1 , x t ] + b o ) . {o_t} = sigmoid\left( {{W_o} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_o}} \right). ot​=sigmoid(Wo​⋅[at−1​,xt​]+bo​).

  • 状态更新
    当前时刻 c e l l cell cell候选状态值 c i n {c_{in}} cin​（中间状态）：
    c i n = tanh ⁡ ( W c ⋅ [ a t − 1 , x t ] + b c ) . {c_{in}} = \tanh \left( {{W_c} \cdot \left[ {{a_{t - 1}},{x_t}} \right] + {b_c}} \right). cin​=tanh(Wc​⋅[at−1​,xt​]+bc​).
    当前时刻长期状态值 c t {c_t} ct​更新：
    c t = f t ⋅ c t − 1 + i t ⋅ c i n . {c_t} = {f_t} \cdot {c_{t-1}} + {i_t} \cdot {c_{in}}. ct​=ft​⋅ct−1​+it​⋅cin​.

  • 当前时刻输出值
    当前时刻LSTM单元的输出值 a t {a_{t}} at​。
    a t = o t ⋅ tanh ⁡ ( c t ) . {a_t} = {o_t} \cdot \tanh \left( {{c_t}} \right). at​=ot​⋅tanh(ct​).

JLGao的博客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Long Short-Term Memory.pdf
08-08
在神经网络领域，Long Short-Term Memory（LSTM）是一种特殊的循环神经网络（RNN）结构，由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，旨在解决传统RNN在处理长期依赖问题时面临的梯度消失和梯度爆炸等问题...
长短期记忆网络（Long Short-Term Memory networks, LSTM）
weixin_39910711的博客
06-05 1万+
如何简单的理解LSTM——其实没有那么复杂：
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
程序星空实验室
05-26 4万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
深度学习基础篇之长短记忆递归神经网络（LSTM）
Fluentwater的博客
06-11 512
在循环神经网络（RNN）模型中，我们总结了RNN模型的优缺点。由于RNN有梯度消失的问题，因此很难处理长序列的数据。于是有人对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失问题，因此在工业界得到了广泛的应用。
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7213
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
长短时记忆网络(Long Short Term Memory，LSTM)详解
weixin_60737527的博客
10-01 1万+
长短时记忆网络(LSTM)基本原理与基于Pytorch的实现方法。
LSTM（Long Short-Term Memory）长短期记忆网络
01-24
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制...
长短期记忆网络（Long Short-Term Memory，LSTM）.zip
最新发布
04-13
长短期记忆网络（LSTM，Long Short-Term Memory）是一种特殊的循环神经网络（RNN，Recurrent Neural Network），设计用于解决传统RNN在处理长期依赖问题时遇到的梯度消失和梯度爆炸问题。LSTM由德国科学家Sepp ...
长短时记忆神经网络（LSTM）
Medlen
09-24 1万+
下面为翻译文章，会稍有增删： 原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 其他人的翻译：https://www.xiemingzhao.com/posts/eff2088e.html 类似的文章：https://www.jianshu.com/p/8219ca28925e 循环神经网络 人类不会每秒都从头开始思考。 阅读本文时，您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切，重新从头开始思考。 传统的神经网络无法做到这一
长短时记忆神经网络LSTM
亦谷
01-29 2060
循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时间序列性数据的神经网络，它的每一层网络在输出时不仅会输出到下一层，同时还会输出一个隐藏状态，用于在当前层处理下一个数据样本的时候使用。因此循环神经网络当前状态的方法为：???????? = ????(???????????? + ????????????−1)。但是由于存在梯度消失的原因，在时刻 t 产生的梯度仅仅能够在时间层上传播几层就会消失，从而使得循环神经网络无法捕捉到长距离的影响。 长短时记忆网络（Long
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
长短时记忆神经网络（LSTM-2）型介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。（LSTM-2）型引入了Ct，Ct-1记忆对神经网络的影响，这个算法的预测效果要更好。
长短期记忆神经网络（LSTM）python实现
09-07
《NLP汉语自然语言处理原理与实现》第九章LSTM的python的代码实现，使用python3实现。可运行。
长短时记忆网络(LSTM)(超详细 |附训练代码)
qq_73462282的博客
08-02 4万+
那么，从这个时刻开始再往之前走，得到的梯度（几乎为零）就不会对最终的梯度值有任何贡献，这就相当于无论t-3时刻之前的网络状态h是什么，在训练中都不会对权重数组W的更新产生影响，也就是网络事实上已经忽略了t-3时刻之前的状态。由于遗忘门的控制，它可以保存很久很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法一定是非常非常复杂的。从上面的代码我们可以看到，门的计算都是相同的算法，而门和的计算仅仅是激活函数不同。
HST-LSTM 代码梳理笔记
m0_38052500的博客
03-25 1148
STLSTM数据猜想二级目录三级目录 数据猜想 所有的数据以字典的形式储存在h5文件中。hdf_filedir = os.path.join('data', 'data-split', f'{dataset_name}.h5') train_df = pd.read_hdf(hdf_filedir, key='train') val_df = pd.read_hdf(hdf_filedir, key='test' if test else 'val') 数据集（以训练集为例，验证集一样）进入Datas
深度学习（PyTorch）——长短期记忆神经网络（LSTM)
qq_42233059的博客
08-30 3006
深度学习（PyTorch）——长短期记忆神经网络（LSTM)
深度学习-43:长短时记忆神经网络(LSTM)
智能多媒体
10-14 3万+
深度学习-43:长短时记忆神经网络(LSTM) 深度学习原理与实践(开源图书)-总目录 长短时记忆神经网络(Long Short-term Memory Networks,LSTM)是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广。STM 通过刻意的...
长短期记忆网络（LSTM，Long Short-Term Memory）的理解
qq_41815943的博客
01-28 3498
文章目录定义循环神经网络长期依赖（Long-Term Dependencies）问题LSTM 网络LSTM 的核心思想逐步理解 LSTM功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 定义 长短期记忆网络（LSTM，Long Sh
长短期记忆网络（Long Short-Term Memory，LSTM）及其变体双向LSTM和GRU
热门推荐
陶将的博客
07-05 5万+
LSTM（Long Short-Term Memory）长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM是解决循环神经网络RNN结构中存在的“梯度消失”问题而提出的，是一种特殊的循环神经网络。
long short-term memory
03-17
Long Short-Term Memory（LSTM）是一种循环神经网络（RNN）的技术，用于处理和预测时间序列中的长期依赖关系。它通过引入记忆细胞，门控制和遗忘门来解决传统RNN的梯度消失和爆炸问题，并且能够在序列中存储和提取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值