深度学习：RNN（梯度消失，梯度爆炸）-＞LSTM（实现捕捉较长的距离依赖）-＞BiLSTM

最新推荐文章于 2024-01-15 14:27:41 发布
最新推荐文章于 2024-01-15 14:27:41 发布
阅读量518 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42721412/article/details/110499430
版权

参考

RNN：

在这里插入图片描述
将计算第100个输出的公式展开，发现第0个输入x0前面的权重，多达100个W在进行相乘，因此容易造成梯度消失或者梯度爆炸。越长的越明显。

LSTM：

在这里插入图片描述
引入门进制，来实现捕捉较长的距离依赖。
利用门，选择性的改变记忆。
在这里插入图片描述
遗忘门来选择多少进行遗忘，更新门来选择保留多少当前的信息。
相当于一个写笔记本的过程，笔记本容量一定，看到重要的，可能要擦掉过去的一部分来写新的。

biLSTM:

在这里插入图片描述

cc 提升ing 变优秀ing
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lstm 根据前文预测词_从RNN到LSTM、BiLSTM，用最通俗的话和最生动的图为您解读！...
weixin_39786617的博客
12-17 1200
为大家介绍了一篇基于BiLSTM的反向词典系统文章，清华华为发布“万词王”反向词典系统，入选AAAI 2020。由于篇幅原因，模型的基础知识部分被我们简单地一笔带过了。今天，小编决定将整理的一些RNN、LSTM、BiLSTM模型知识尽可能地放在这篇文章里，感谢各位原作者大大的贡献。 RNNAI识别你的语音、回答你的问题、帮你翻译外语，都离不开一种特殊的循环神经网络-RNN(Recurr...
RNN，LSTM和BiLSTM详解
qq_41230076的博客
04-27 5859
LSTM和BiLSTM详解
RNN、LSTM、GRU、DeepRNN和BiLSTM
To_be_thinking的博客
03-01 899
RNN(Recurrent Neural Network) Ht=ϕ(XtWxh+Ht−1Whh+bh)(1) \boldsymbol H_t=\phi(X_tW_{xh}+H_{t-1}W_{hh}+b_h) \tag 1 Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​)(1) OUTPUTt=HtWhq+bq(2) \boldsymbol {OUTPUT_t}=\boldsymbo...
个人总结：从RNN（内含BPTT以及梯度消失/爆炸）到 LSTM（内含BiLSTM、GRU）Seq2Seq Attention
yyhhlancelot的博客
10-11 4914
前言 RNN擅长解决的问题是连续的序列，且序列的长短不一，比如基于时间的序列：一段段连续的语音等。这些序列比较长，且长度不一，比较难直接拆分成一个个独立的样本通过DNN/CNN进行训练。 而RNN由于其独有的结构和优势，能够处理DNN/CNN所不能及的问题。 RNN的5种不同架构 声明：下列图中的方块或者圆圈都代表一个向量。 one2one: 一个输入对应一个输出。 one2ma...
[rnn]BPTT_梯度消失/爆炸问题
apsvvfb的专栏
10-18 1万+
http://www.wildml.com/2015/10/recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishing-gradients/翻译: https://zhuanlan.zhihu.com/p/22338087随时间的反向传播（BPTT）让我们先迅速回忆一下RNN的基本公式，注
RNN出现梯度消失和梯度爆炸的原因
UESTC_201722的博客
02-18 2770
这位大佬写的非常好
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM
09-11
41Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。
RNN-＞LSTM-＞BiLSTM神经网络结构
weiyaner的博客
08-09 8904
最近在学习《自然语言处理 基于预训练模型的方法》，打打公式吧。 RNN（Recurrent Neural Network） ht=tanh(Wxhxt+bxh+Whhht−1+bhh)h_t = tanh(W^{xh}x_{t}+b^{xh}+W^{hh}h_{t-1}+b^{hh})ht​=tanh(Wxhxt​+bxh+Whhht−1​+bhh) y=softmax(Whyhn+bhy)y=softmax(W^{hy}h_{n}+b^{hy})y=softmax(Whyhn​+bhy) 如果是文本分类
BPTT推导及RNN梯度消失和梯度爆炸的原因
knight的博客
03-30 1198
神经网络学习日记（四）——RNN、LSTM、BiLSTM、GRU
Spark_lr的博客
01-15 1551
循环神经网络（RNN）以及它的一系列变体LSTM、BiLSTM的学习和详细介绍，以及门控神经网络（GRU）的简单介绍
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM_源码.zip
09-30
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM_源码.zip
NLP---RNN & LSTM & GRU & BiRNN & BiLSTM
逗逗的博客
07-22 1333
1. RNNs (Recurrent Neural Networks) 参考：https://blog.csdn.net/Jerr__y/article/details/58598296 https://www.yunaitong.cn/understanding-lstm-networks.html 以上两篇均是翻译：http://colah.github.io/posts/2015-08-U...
RNN-LSTM-BiLSTM-CRF之间的联系与区别
weixin_42631192的博客
02-14 814
参考：各个模型的区别与联系
CNN、RNN、LSTM、BiLSTM、Transformer的在EEG信号处理中的作用
sxn0121的博客
06-02 3858
需要注意的是，CNN和RNN并不是相互排斥的，它们可以结合使用，例如在图像字幕生成任务中，可以使用CNN提取图像特征，然后将这些特征输入到RNN中生成描述文字。总之，CNN主要适用于提取EEG信号的时空特征和多通道处理，而RNN主要适用于捕捉EEG信号中的时间依赖关系和序列建模。在实际应用中，CNN和RNN可以结合使用，以充分利用它们各自的优势。CNN（卷积神经网络）和RNN（循环神经网络）是深度学习中常用的两种神经网络结构，它们在处理不同类型的数据和解决不同类型的问题时具有不同的优势。
Non-local：用于捕获长距离依赖关系
AI数据工厂
01-30 7664
non-local主要贡献是提出了一种新的神经网络操作方法，通过non-local的方式捕获长距离依赖关系，从而能够建模上下文信息；所提出的non-local块可以和神经网络进行自由组合，插入到任何位置，可以当做插件使用。
RNN、LSTM、BLSTM、convLSTM原理概括
qq_41991290的博客
07-14 1万+
注：本文为个人学习总结，摘录原文在参考资料中，如需详细资料，请阅读原文。 循环神经网络及变型总结一、RNN（循环神经网络）二、LSTM（长短时记忆网络）三、GRU(Gated Recurrent Unit)四、BLSTM（双向LSTM）五、ConvLSTM（卷积LSTM）六、总结参考资料： 一、RNN（循环神经网络） 循环神经网络的主要用途是处理和预测序列形式的数据。在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息承上启下，影响后面结点的输出,其典型的结构如下图，可以看出循环神经网络的隐藏层之间
名称: 用LSTM做文本分类任务(2)长短期记忆网络详解
禅与计算机程序设计艺术
10-09 669
作者：禅与计算机程序设计艺术 1.背景介绍 LSTM（Long Short-Term Memory，长短期记忆神经网络）是一种能够对序列数据进行建模、训练和预测的神经网络模型。它可以对输入数据中的时间序列关系进行捕获、存储和利用，从而提升模型的学习效率和准确性。本文将介绍LSTM在文本分类任务中的应
自然语言处理实战——LSTM
will_jay1995的博客
03-25 2505
文章目录前言一、LSTM凭什么可以替换RNN？二、LSTM的神秘之处是什么？三、一些细节1.脏数据2.dropout3.未知词条4.字符级建模5.使用one-hot向量6.数据集较小总结 前言 前文提到过用CNN、RNN、来解决隐藏在文本背后的语义问题，进而进行模型的训练。LSTM在解决长距离文本存在的依赖。 LSTM在所有涉及时间序列、离散序列和NLP领域问题的应用中都取代了RNN。 一、LSTM凭什么可以替换RNN？ LSTM主要解决两个问题：在模型训练的过程中选择记住什么以及学习预测目标标签（学习
LSTM与BI-LSTM
热门推荐
lgy54321的博客
08-21 2万+
文章目录从RNN到LSTMLSTM模型结构剖析LSTM之遗忘门LSTM之输入门LSTM之细胞状态更新LSTM之输出门LSTM前向传播算法LSTM反向传播算法推导关键点 从RNN到LSTM 在RNN模型里，我们讲到了RNN具有如下的结构，每个序列索引位置t都有一个隐藏状态h(t)。 　　　　如果我们略去每层都有的o(t),L(t),y(t)o^{(t)}, L^{(t)}, y^{(t)}o(t),...
最新直播系统带商城源码 附搭建教程（价值2w多）
最新发布
08-05
最新直播系统带商城源码 附搭建教程 功能介绍： 礼物系统：普通礼物、豪华礼物、热门礼物、守护礼物、幸运礼物 提现方式：统一平台提现日期及方式，方便用户执行充值提现操作 连麦送礼PK：主播之间可进行互动连麦送礼PK，PK结束有相应的奖惩 直播间红包：平台主播及用户都可发红包，有多种红包类型及红包提醒 主播守护：可进行平台充值，守护心仪的主播，主播守护时长有多种设置 小视频拍摄：单独的小视频模块，包含视频列表，视频拍摄、编辑、上传、互动等 引导图功能：优化更新系统引导图，后台可上传图片或视频内容，视频内容可跳过 动态：点击动态可进入动态详情页，包含话题的动态点击话题可进入该话题动态列表，可查看该话题下所有动态信息，用户可对动态进行点赞、评论、举报等操作 商城：可通过商品名称搜索商品，搜索后可根据销量价格等进行筛选 商品详情：查看商品的名称价格销量评价等信息，可进入店铺，可与客服沟通，可直接购买 直播观看送礼提示：用户赠送礼物后，直播间公屏聊天处有送礼提示 直播购物车：观众在直播间中可查看主播直播购物车中的商品，点击某个商品跳转到商品介绍页面，商品介绍上有购买按钮，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值