RNN与LSTM

最新推荐文章于 2023-04-07 16:57:27 发布
最新推荐文章于 2023-04-07 16:57:27 发布
阅读量221 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40642306/article/details/88770099
版权
本文介绍了递归神经网络（RNN）及其利用前一步信息的特点，探讨了RNN的梯度消失问题。接着，文章转向长短期记忆网络（LSTM），解释了LSTM如何通过三个门机制解决RNN的问题。最后，提到了模型微调（fine tune）的概念，即在预训练模型基础上进行小规模调整以适应特定任务。
摘要由CSDN通过智能技术生成

RNN

RNN

递归神经网络（RNN），该网络最大的特点就是利用了前一步的信息。如下图：
在这里插入图片描述
RNN有一个比价特别的地方，那就是S，表示记忆单元。
在这里插入图片描述
其反向传播的过程需要将当前步的一直到最后的梯度都求出来。这个也是它的缺点，为什么呢？主要就是因为距离当前太远的地方，可能与当前关系不大，我们应该忽略他，同时这样也容易造成梯度消失。
在这里插入图片描述

LSTM

针对RNN存在的问题，在LSTM上可以得到很好的解决。LSTM使用三个门，分别 是选择忘记的门，新的需要保留的门，以及需要输出的门。具体如下
在这里插入图片描述

  1. 选择忘记的门 Ct-1是上一阶段的控制参数 ht-1是上阶段的输出。
最低0.47元/天 解锁文章
沧海磐石
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RNN和LSTM
fuermolei的博客
08-02 5665
rnn 循环神经网络，(Recurrent Neural Network) 循环神经网络的主要用途是处理和预测序列数据。在全连接神经网络或者卷积神经网络中，都素hi从输入层到隐藏层再到输出层的，层与层之间都的全连接的，但每层之间的结点是无连接的。这就导致当前神经元没有前一个的记忆。而RNN的隐藏层之间的结点是有连接的，RNN的当前隐藏的输入包含输入层的输出和上一个隐藏层的输出。下图是一个单独的循...
RNN与LSTM详解ppt
最新发布
08-15
lstmRNN与LSTM详解ppt
使用RNN与LSTM实现的5个应用
05-12
标题提及的是“使用RNN与LSTM实现的5个应用”，这表明我们将探讨如何在不同场景下利用循环神经网络（RNN）及其变体长短期记忆网络（LSTM）来解决问题。描述中列出了五个具体的应用实例，涵盖了时间序列预测、文本...
递归神经网络RNN与LSTM
05-03
**递归神经网络RNN与LSTM** 在深度学习领域，递归神经网络（Recurrent Neural Networks，简称RNN）和长短时记忆网络（Long Short-Term Memory，简称LSTM）是两种重要的序列模型，主要用于处理具有时间序列特性的...
RNN与LSTM源代码
12-18
在深度学习领域，RNN（循环神经网络）和LSTM（长短时记忆网络）是两种广泛应用的序列模型，尤其在处理时间序列数据、自然语言处理和文本生成等任务上表现出色。MATLAB作为强大的数值计算工具，也提供了实现这些神经...
（通俗易懂）RNN及LSTM
qq_43703185的博客
09-07 5495
原文链接：https://blog.csdn.net/zhaojc1995/article/details/80572098 本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/28054589 https://blo
循环神经网络（RNN）与长短时记忆网络（LSTM）
qq_33578950的博客
04-07 4163
循环神经网络（RNN）是一种用于处理序列数据的神经网络，它具有时间递归的结构，可以将前一个时间步的输出作为当前时间步的输入。RNN在自然语言处理、语音识别、时间序列预测等领域有广泛应用。但是，RNN存在梯度消失和梯度爆炸等问题，这使得RNN在处理长序列时效果不佳。长短时记忆网络（LSTM）是一种改进的RNN，它能够解决RNN存在的梯度问题。LSTM引入了门控机制，可以选择性地忘记、保存或读取信息，使其在处理长序列时具有更好的表现。在本文中，我们将深入探讨RNN和LSTM的原理和实际应用，并提供代码示例。
浅谈RNN与LSTM
qq_42896431的博客
03-14 1024
参考链接：[译] 理解 LSTM(Long Short-Term Memory, LSTM) 网络 文章目录RNNLSTM RNN 输入为序列 X={x0,x1,...,xt,...}X=\{x_0,x_1,...,x_t,...\}X={x0​,x1​,...,xt​,...} ，输出为 H={h0,h1,...,ht,...}H=\{h_0,h_1,...,h_t,...\}H={h0​,h1​,...,ht​,...}，将内部的隐藏层认为是 A。 当前输出不仅依赖于当前的输入，还依赖于上一次的输
【深度学习】RNN与LSTM
Mankind的博客
03-13 677
文章目录循环神经网络RNN双向RNN 循环神经网络RNN   Recurrent Neural Network是一种有记忆力的神经网络。为什么说有记忆力呢？因为它的隐藏层输出会被保存起来，在下一次计算隐藏层输出的时候，会考虑到先前保存的值。   对于普通的BP神经网络，第k层的隐藏层的输出是 ak(x)=wkx a_k(x)=w_kx ak​(x)=wk​x   对于RNN循环神经网络来说，第k层...
TesorFlow之RNN与LSTM
a13602955218的博客
06-23 213
RNN 计算公式 由当前输入和前一状态得到当前状态 ht=f(Ux(t)+Wh(t−1)+b)ht=f(Ux(t)+Wh(t−1)+b)h^{t}=f(Ux^{(t)}+Wh^{(t-1)}+b) 注意当前状态并不直接输出，而是再通过一个全连接层 o(t)=Vh(t)+co(t)=Vh(t)+co^{(t)}=Vh{(t)}+c 代码实现 import numpy as np ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值