3_Long Short Term Memory (LSTM)

于 2022-01-25 06:52:41 发布
阅读量794 收藏
点赞数
分类专栏： NLP 文章标签： lstm 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/brawly/article/details/122678385
版权

文章目录

一、LSTM核心思想

  • LSTM是一种RNN模型
  • LSTM是对简单循环神经网络的改进
  • LSTM可以避免梯度消失的问题，可以有更长的记忆

image-20210330213707527

1.1 Conveyor Belt（传输带）

  • 传输带记为向量Ct：过去的信息通过传输带直接送到下一个时刻，不会发生太大的变化。
  • LSTM就是靠传输带来避免梯度消失的问题

image-20210330214801982

二、LSTM分布指南

2.1 Forget Gate（遗忘门）

  • 遗忘门有两部门组成；
  • 输入的Sigmoid函数是一个向量a，Sigmoid对向量a中的每一个元素都进行压缩，压缩在（0,1）之间的范围
  • Elementwise multiplication：两个矩阵对应位置元素进行乘积

1

遗忘门（ft）：一个向量，有选择的让传输带C的值通过。

  • 假如f的一个元素为0，，则C对应的元素就不能通过，对应的输出为0。
  • 假如f的一个元素为1，，则C对应的元素全部通过，对应的输出为C本身。

image-20210330222321423

参数矩阵Wf ，需要通过反向传播从训练数据中学习。

2.2 Input Gate（输入门）

输入门（it）：更新传输带的值

参数矩阵Wi ，需要通过反向传播从训练数据中学习。

image-20210331150146737

2.3 New value（新的值）

New value：将值添加到传输带上

image-20210331150516184

image-20210331152558877

2.4 Output gate（输出门）

输出门（Ot）：

image-20210331155021121

三、LSTM: Number of Parameters（参数数量）

有4个参数矩阵，每个参数矩阵

  • 行：shape（h）
  • 列：shape（h）+ shape（x）

LSTM参数数量（没有统计截距）

  • 4×shape（h）× [ shape（h）+ shape（x） ]

image-20210331160045982

四、LSTM for IMDB Review

image-20210331160242776

# 设置超参数
vocabulary = 10000   # 词典里面有10000个词汇
embedding_dim=32     # shape(x)=32，词向量x的维度为32
word_num = 500       # 每个电影评论有500个单词，如果超过500个单词，就会被截掉；如果不到500，就会补够。
state_dim =32        # shape(h) = 32，状态向量h的维度为32


# 开始搭建网络
model = Sequential()     # 建立Sequential()模型
# 往model里面加层,Embedding层，把词映射成向量
model.add(Embedding(vocabulary,embedding_dim,input_length=word_num))
# 需要指定状态向量h的维度，设置RNN层的return_sequences=False，表示RNN只输出最后一个状态向量h，把之前的状态向量舍去
model.add(LSTM(state_dim,return_sequences=False))
# 全连接层，输入RNN的最后一个状态h，输出0-1之间的数
model.add(Dense(1, activation="sigmoid"))

model.summary()

image-20210331160751270

五、Summary（总结）

  • LSTM uses a "conveyor belt"to get longer memory than SimpleRNN.

  • Each of the following blocks has a parameter matrix:

    • Forget gate（遗忘门）
    • Input gate （输入门）
    • New value （新的输入）
    • Output gate（输出门）

  • Number of parameters:
    4 x shape (h) x [ shape (h) +shape (x) ].

少云清
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Long Short-Term Memory.pdf
08-08
[1]Hochreiter, Sepp; Schmidhuber, Jürgen.Long Short-Term Memory[J].Neural Computation,1997,9(8)
Long Short-term Memory
09-18
Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture that remembers values over arbitrary intervals. Stored values are not modified as learning proceeds. RNNs allow forward and backward connections between neurons. An LSTM is well-suited to classify, process and predict time series given time lags of unknown size and duration between important events. Relative insensitivity to gap length gives an advantage to LSTM over alternative RNNs, hidden Markov models and other sequence learning methods in numerous applications.
Long Short Term Memory（LSTM）
Francis_s的博客
10-06 331
LSTM 的提出就是为了解决RNN的梯度消失/爆炸以至于引起对时间久远的信息不敏感的问题（久远的信息对当前时刻的更新不做贡献） 1.LSTM 结构 总的来说就是多了几个控制的门，每次新的信息进来还有每次拿旧的信息我都不是全部拿，而是有选择性地拿，至于怎么选择性地拿，就交给网络自己学习了 直接上图： 在RNN的基础上，除了隐层状态外，我们引入了新的状态，用来决定我要保留之前的多少信息。最最关键就是这个了C了，暂且称为Cell吧 ...
LSTM（Long Short-Term Memory）
天泽28的专栏
02-24 3918
LSTM（Long Short-Term Memory） 前面的两篇博客介绍了基本的循环神经网络RNN（recurrent neural network）： RNN（recurrent neural network）（一）——基础知识 RNN（recurrent neural network）（二）——动手实现一个RNN 但是基本的RNN（之所以强调是基本的RNN，是因为LSTM本质上也是一...
长短期记忆网络 Long Short-Term Memory
北风吹过的秋
05-26 949
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/XdV-1aIRFzAU8HXTH7M3Lw 前言 之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM，它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。 RNN原理介绍：追根溯源：循环神经网络 《 Long short-term memory 》 ..
Long Short-Term Memory Networks With Python
01-30
作者为Jason Brownlee. 请支持正版！本资源供非商业用途共享！ About the Ebook: 3 parts, 14 step-by-step tutorial lessons, 246 pages. 6 LSTM model architectures. 45 Python (.py) files.
Classifying Relations via Long Short Term Memory Networks
11-27
本文介绍了一种名为SDP-LSTM（Shortest Dependency Path - Long Short Term Memory networks）的新型神经网络模型，用于对句子中两个实体之间的关系进行分类。该模型利用两个实体之间的最短依赖路径（SDP），通过多...
LSTM（Long Short-Term Memory）长短期记忆网络
01-24
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制...
桂韬__Long Short-Term Memory with Dynamic Skip Connections1
08-03
标题 "桂韬__Long Short-Term Memory with Dynamic Skip Connections1" 涉及的是一个针对长短期记忆网络（LSTM）的改进模型，该模型引入了动态跳过连接（Dynamic Skip Connections）。描述中提到，LSTM在捕捉长期...
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解
LSTM详解
m0_50896529的博客
11-04 4681
LSTM网络 Long short-term Memory Networks 很多地方翻译为长短期记忆网络，给人一种歧义，以为是网络一会儿能记很长的内容，一会儿能记很短的内容，但其实正确的翻译应该是长时间的短期记忆网络。它的本质就是能够记住很长时期内的信息 1. 普通的RNN 所有循环神经网络结构都是由结构完全相同的模块进行复制而成的。在普通的 RNN 中，这个模块非常简单 2. LSTM LSTM 也有类似的结构，唯一的区别就是中间的部分，LSTM 不再只是一个单一的 层，而使用了四个相互作用的层
Long-Short Term Memory(长短时记忆模型)
xiaoniu0991的博客
07-14 1万+
长短期记忆（Long-Short Term Memory, LSTM）是一种时间递归神经网络(RNN)，论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。        LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别
NLP 入门知识点
weixin_43937759的博客
10-02 175
最近从 B 站上找了个教程 学习NLP 的知识，就以此篇博客作为载体记录课上学的知识点吧。 Long Short Term Memory (LSTM) 模型 LSTM uses a “conveyor belt” to get longer memory than SimpleRNN. Each of the following blocks has a parameter matrix: Forget gate Input gate New values Output values Num
LSTM: SimpleRNN的改进
jayvee's Blog
11-25 2241
LSTM 模型是对SimpleRNN的改进，LSTM可以避免梯度消失的问题，可以有更长的记忆。 LSTM中最重要的设计就是传输带 传输带（Conveyor belt）CtC_tCt​：过去的信息通过传输带直接送到下一时刻，不会发生太大的变化。LSTM就是通过传输带避免了梯度消失的问题。 LSTM中的Gate：可以让信息有选择的通过。 Forget Gate 遗忘门由sigmoid函数和单元乘法两部分组成 1、输入向量a通过sigmoid函数作用得到输出向量f 2、接着计算传输向量 c 和 f.
【转】Understanding LSTM
luchi007的专栏
04-12 287
Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw...
2021-10-24
Kwjdefulgn的博客
10-24 255
1. RNN x 为当前状态下数据的输入， h 表示接收到的上一个节点的输入。 y为当前节点状态下的输出，而 h’ 为传递到下一个节点的输出。 通过上图的公式可以看到，输出 h’ 与 x 和 h 的值都相关。 而 y 则常常使用 h’ 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。 对这里的y如何通过 h’ 计算得到往往看具体模型的使用方式。 通过序列形式的输入，我们能够得到如下形式的RNN。 2. LSTM 2.1 什么是LSTM 长短期记忆（Long short
长短期记忆（Long Short-Term Memory，LSTM）
biubiusion的博客
05-07 1894
普通的 RNN 会由于梯度消失或梯度弥散无法回忆起久远记忆（若预测所需关键信息出现在数据开头，RNN 分析到数据末尾时，将误差反向传播到开头，容易因梯度消失或梯度弥散而出现误差无限小或无限大）； 为了解决上述问题，提出了 LSTM； LSTM 相比于普通 RNN 多了一个全局控制器、输入控制、输出控制、忘记控制； 若某一输入对于全局结果较重要，就会按照重要程度加入全局控制器中再进行分析； ...
LSTM函数的各个参数的含义
庵中十三居士的博客
06-08 2万+
# -*- coding: UTF-8 -*- # 这份文件的作用是作为一个示例，记录关于 LSTM 函数的各个参数的含义 import tensorflow as tf import numpy as np # 这里建立一个简单的模型演示 LSTM 层的特性 model = tf.keras.models.Sequential() model.add(tf.keras.layers.LS...
长短期记忆网络（Long Short-Term Memory，LSTM）及其变体双向LSTM和GRU
热门推荐
陶将的博客
07-05 5万+
LSTM（Long Short-Term Memory）长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM是解决循环神经网络RNN结构中存在的“梯度消失”问题而提出的，是一种特殊的循环神经网络。
long short term memory networks with python中文
最新发布
07-08
长短期记忆网络（Long Short Term Memory Networks，LSTM）是一种用于处理序列数据的深度学习模型，用于解决传统循环神经网络（RNN）中的梯度消失问题。 Python是一种通用的编程语言，可以使用Python编写LSTM模型。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

少云清

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值