深度学习常用模型（三）：LSTM

最新推荐文章于 2024-07-17 07:00:00 发布
最新推荐文章于 2024-07-17 07:00:00 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： 人工智能 深度学习 文章标签： 神经网络 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42892235/article/details/108125018
版权
本文介绍了循环神经网络（RNN）的基本概念和长依赖存在的问题，重点讲解了LSTM和GRU模型，包括它们的核心机制如门结构，以及如何解决RNN的短时记忆问题。LSTM通过遗忘门、输入门和输出门来控制信息流动，而GRU则简化为更新门和重置门，以减少计算复杂性。
摘要由CSDN通过智能技术生成

1.什么是RNN

在了解LSTM之前，我们先来简单回顾一下什么吗是RNN

人类针对每个问题的思考，一般不会是完全的从头开始思考。正如当你阅读这篇译文的时候，你会根据已经阅读过的内容来对后面的内容进行理解，你不会把之前的东西都丢掉从头进行思考，你对内容的理解是贯穿的。

传统的神经网络做不到这一点，而这似乎是一个主要的缺点。 例如，假设您想对电影中的每个事件进行分类。我们无法想象传统神经网络如何能够利用前面的场景去干预后面的预测。

幸好循环神经网络解决了这个问题， 它们是具有循环的网络，允许信息持续存在，示意图如下。
在这里插入图片描述
在上图中，一组神经网络 A接收某些输入xt，并输出一个值ht。 循环允许信息从网络的一个步骤传递到下一个。

这些循环使得循环神经网络看起来很神秘。 然而，如果你再多考虑一下，你就会发现其实它和传统的神经网络并不是完全不同。 一个循环神经网络可以被认为是同一个网络的多个副本，每一个都传递一个消息给后继者。 我们考虑一下如果将循环展开会发生什么：(示意如下)
在这里插入图片描述
这种链状特征揭示了循环神经网络与序列和列表密切相关。 它们是用于此类数据的自然神经网络结构。

他们肯定是有用的！ 在过去的几年里，RNN应在语音识别、语言建模、翻译，图像字幕等各种问题上取得了巨大成功。在Andrej Karpathy的这篇博文——RNN的难以理解的有效性(The Unreasonable Effectiveness of Recurrent Neural Networks)中讨论了RNN取得的惊人成果，他们真的很神奇。

长依赖存在的问题（短时记忆）

RNN显著的魅力是将以前的信息连接到当前任务的这种思路，例如使用先前的视频帧可以有助于对当前帧的理解。 如果RNN可以做到这一点，这将非常有用。 但他可以吗？这要看情况。

有时，为了处理当前的任务，我们只需要查看最近的信息。 例如，考虑一种语言模型，该模型根据前面的词语来预测下一个单词。 如果我们试图预测““the clouds are in the sky”的最后一个单词，我们不需要任何其

最低0.47元/天 解锁文章
left--bank
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RNN：basic RNN,LSTM and GRU
Rebaccaminmin的博客
12-11 444
RNN：basic RNN,LSTM and GRUBASIC RNNLSTMGRU 写在前面：这篇blog没有很多文字，都是图片，截取自我们一个课的ppt。本科的时候看lstm的paper也曾写过一些博客，但是感觉paper看完当时可能记住了，但很难帮助记忆。研究生上了一门kdd的课程，正好老师讲到了rnn，给的这些图和例子，非常浅显易懂。特此编辑一下，也算是知识的传播了。 BASIC RNN ...
CNN-LSTM模型训练及预测瓦斯浓度
qq_55481158的博客
03-05 1857
在数据清洗过程中，对原数据使用pandas技术进行处理，提取所需列存入新的文件，去除异常值的同时也保留了所需要的含有时间序列和空间序列的数据，再对含有时间序列和空间序列的数据进行处理以及设置瓦斯浓度为标签数据，然后对数据进行了分类，包括训练集，验证集以及测试集。所以在两个模型的中间需要对数据的维度进行转换，在卷积过程后先利用池化层放大特征信息，然后运用1*1卷积层和Squeeze层进行降维处理，最后将降维处理后的数据进行时序处理，从而实现对提取了空间关系的数据进行时序的处理。
LSTM的记忆能力实验
m0_70026215的博客
12-27 1148
长短期记忆网络（Long Short-Term Memory Network，LSTM）是一种可以有效缓解长程依赖问题的循环神经网络．LSTM 的特点是引入了一个新的内部状态（Internal State）
NLP入门——RNN、LSTM模型的搭建、训练与预测
最新发布
qq_45929428的博客
07-17 716
在卷积语言模型建模时，我们选取上下文长度ctx_len进行训练，预测时选取句子的最后ctx_len个分词做预测，这样句子的前0~seql-1-ctx_len个词对于预测没有任何帮助，这对于语言处理来说显然是不利的。在词袋语言模型建模时，我们舍弃ctx_len的概念，利用前缀和，用前seql-1个词作为训练数据，后seql-1个词作为标签训练。最终用这句话所有的分词求前缀和做预测，这样句子中所有的分词都参与了预测，是更准确的。
难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）
热门推荐
AI科技大本营
09-29 5万+
作者 |Michael Nguyen编译 | 蔡志兴、费棋编辑 | Jane出品 | AI科技大本营【导语】机器学习工程师 Michael Nguyen 在其博文中发布...
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 2607
一文极速了解循环神经网络RNN、LSTM、GRU！
RNN、LSTM和GRU
Wisimer
02-26 1131
一、循环神经网络 传统的神经网络并不能做到保持信息的持久性，RNN(Recurrent Neural Retwork) 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。 在上面的示例图中，神经网络的模块，，正在读取某个输入 ，并输出一个值 。循环可以使得信息可以从当前步传递到下一步。 RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这...
RNN、LSTM、GRU
xueliang
05-19 301
RNN、LSTM、GRURNNLSTM RNN recurrent neural network， 循环神经网络更多应用于序列数据的处理中，网络参数共享是RNN的一个重要特点。 RNN结构示意图如下： 下面我们以具体的应用场景进行展开描述。 例如在文本分类问题中，输入的一句话可以看作是一个序列，输出为该条语句的类别标签。此时，RNN 的网络结构为： 其中，xix_ixi​表示语句中的一个单词，输出Y为类别标签。下面我们来看隐藏层单元中的运算，hih_ihi​表示了每一个隐层单元的状态： hi=ϕ(Whh
基于机器学习的遥感图像识别算法(kNN:SVM:CNN:LSTM)内含数据集和预训练模型.zip
03-28
3. **卷积神经网络（CNN）**：CNN是深度学习中最常用的模型之一，特别适合图像识别任务。CNN包含卷积层、池化层和全连接层，能够自动学习图像的特征表示。在遥感图像识别中，CNN可以从低级特征（如边缘和纹理）到...
基于深度学习的LSTM情感分析课程
05-20
课程基于PyTorch主流框架实现，其中涉及深度学习主流框架LSTM模型以及自然语言处理的词向量；彻底学习中文情感分析。 课程简介 NLP领域的热门应用，常用在舆情分析，文章分类，智能客服，情感分析等多个场景。情感...
【Python深度学习】LSTM股票预测模型 - 源码库+数据集+完整教程
05-09
基于LSTM（Long Short-Term Memory）模型的股票预测模型是一个应用深度学习技术来分析和预测股票市场走势的工具。该模型特别适用于处理和预测时间序列数据，能够学习股票价格随时间变化的复杂模式。 此Python资源...
预测模型之神经网络：深度学习面面观
09-25
预测模型之神经网络：深度学习面面观 在人工智能（AI）和机器学习领域中，神经网络和深度学习是两个紧密相关的概念，它们都是机器学习的重要分支。下面我们将深入探讨神经网络和深度学习的概念、类型和应用。 一、...
基于深度学习LSTM网络的短期电力负荷预测方法
05-09
随着大数据和人工智能技术的发展，尤其是深度学习方法的兴起，传统的统计模型逐渐被更为智能的预测技术所取代。本篇文章关注的是基于深度学习中的长短期记忆网络（Long Short-Term Memory, LSTM）的短期电力负荷预测...
RNN, LSTM, GRU
qq_34527082的博客
08-04 224
RNN, LSTM, GRULSTM 各部分重要性 LSTM 各部分重要性 去掉其中的某一个部件之后, 错误率的变化. CIFG结构类似GRU. 参考: 刘宏毅 深度学习
RNN LSTM GRU
zz2230633069的博客
03-01 500
感谢：https://www.jianshu.com/p/9dc9f41f0b29
RNN LSTM GRU介绍
舟
01-12 1076
RNN 在实际应用中，我们会遇到很多序列形的数据 为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。 每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点 LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程...
【深度学习】 LSTM模型
大西瓜不甜的博客
05-05 1637
循环神经网络（Recurrent Neural Networks） 人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。 传统的神经网络并不能做到这一点，这是在对这种序列信息（如语音）进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类，传统的神经网络是很难通过...
LSTM模型
djph26741的博客
10-23 212
摘自：http://www.voidcn.com/article/p-ntafyhkn-zc.html （二）LSTM模型 1.长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长...
RNN-LSTM-GRU
weixin_44965520的博客
12-19 190
RNN 问题： 无法获得长期依赖信息 梯度消失/爆炸 二者的原因都是因为循环过程中参数W的高次幂带来的问题 LSTM 想了一个剧集的例子： Ct（细胞状态）目前t时刻为止所有的剧情要素集合 ht（隐藏状态）目前t时刻（结合了所有的剧情要素）的剧情理解 遗忘单元：结合这一集的剧情输入Xt和上一集的剧情理解ht-1，看看哪些之前的剧情要素根本不重要，产生一个遗忘列表（元素0-1的一个向量ft），和之前的所有剧情要素集合Ct乘一下（越0忘的越多，越1越不咋忘说明比较重要），这样就把不重要的要素给忘了 输
深度学习与恶意代码检测：LSTM、GRU解析
"基于深度学习的恶意代码检测技术，特别是利用one-hot编码和循环神经网络（RNN），包括LSTM和GRU模型。" 在深度学习领域，恶意代码检测已经成为一个重要的研究方向，尤其是在网络安全中。One-hot编码是一种特征工程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值