台湾大学深度学习课程 学习笔记 Lecture 5-1: Gated RNN（LSTM与GRU介绍）

最新推荐文章于 2024-05-16 17:38:19 发布
最新推荐文章于 2024-05-16 17:38:19 发布
阅读量2.8k 收藏 5
点赞数
分类专栏： 公开课学习笔记 文章标签： 深度学习 LSTM GRU 公开课 RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sscc_learning/article/details/79004637
版权

以下内容和图片均来自台湾大学深度学习课程。
课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html

Review

首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。

RNN

假设现在有3个sequence表示为 x1 、 x2 、 x3 ，设定的初始化向量 h0 ；将 x1 与 h0 放入function f 中，得到 y1 与 h1 ， h1 是和 h0 维度一样的；把 x2 与 h1 放入与之前一样的 f 中，得到结果 y2 与 h2 ；继续直到完成全部的sequence。
RNN结构

Deep RNN

上面说的方法只有一个隐藏层，RNN当然也可以是多个隐藏层的Deep RNN。如下图，输出的 y1 结果可以和另一个初始化的向量 b0 放到另一个function f2 中，得到 c1 与 b1 ，然后继续……
deep RNN

Bidirectional RNN 双向

首先从 x1 到

最低0.47元/天 解锁文章
scxyz_
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习与深度学习系列连载： 第二部分 深度学习（十四）循环神经网络 2（Gated RNN - LSTM ）
Doctor Wu的博客
11-09 942
循环神经网络 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特点，所以，在实际应用中，带有门限的RNN模型变种（Gated RNN）起着至关重要的作用，下面我们来进行介绍： LSTM (Long Short-term Memory ) LSTM 是一个比较难理解的网络架构，有4个输入（3个Gate），1个输出 1 LSTM的运算过程 我们以x1,x2...
第六章 Gated RNN
lumoumou`s blogs
04-15 431
上一章的 RNN 存在环路，可以记忆过去的信息，其结构非常简单，易于实现。不过，遗憾的是，这个 RNN 的效果并不好。原因在于，许多情况下它都无法很好地学习到时序数据的长期依赖关系。现在，上一章的简单 RNN 经常被名为 LSTM 或 GRU 的层所代替。实际上，当我们说 RNN 时，更多的是指 LSTM 层，而不是上一章的 RNN。顺便说一句，当需要明确指上一章的 RNN 时，我们会说“简单 RNN”或 “Elman”。LSTM 和 GRU 中增加了一种名为 “门” 的结构。
深度学习之自然语言处理（Gated RNN）
最新发布
weixin_55922470的博客
05-16 319
遗忘门从上一时刻的记忆单元中删除了应该忘记的东西，但是这样一来，记忆单元只会忘记信息。输入门不会不经考虑就添加新信息，而是会对要添加的信息进行取舍。的各个元素，调整它们作为下一时刻的隐藏状态的重要程度。为了解决梯度消失问题，需要从根本上改变 RNN 层的结构，提出Gated RNN。记忆单元的特点是，仅在 LSTM 层内部接收和传递数据。此时，关注时间方向上的梯度，可知反向传播的梯度流经 tanh。这样一来，新的信息就被添加到了记忆单元中。的对应元素的乘积添加到记忆单元中。会发生梯度消失和梯度爆炸的问题。
《深度学习进阶：自然语言处理》第6章 Gated RNN
MangoGO的博客
05-09 187
参数更新是依靠输出结果与标签数据的差异求得梯度，并通过反向传播将梯度传递给上游的参数，由此输出结果与标签数据的差异体现出的有效信息被参数学习到。假设词汇量为 V，LSTM 的隐藏状态的维数为H，则Embedding层的权重形状为V×H，Affine层的权重形状为H×V。在PTB数据集上学习语言模型的情况下，当LSTM的层数为2～4时，可以获得比较好的结果。使用RNN的模型中，将Dropout层插入在LSTM层的时序方向上，随着时间的推移，信息会渐渐丢失，因Dropout产生的噪声会随时间成比例地积累。
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification (EMNLP 2015)
qq_43658933的博客
03-15 378
基于门控循环神经网络的文本情感分类建模 Gated Recurrent Neural Network（Gated RNN）: ​    simple RNN 具有梯度消失或者梯度爆炸的特点，所以，在实际应用中，带有门限的RNN模型变种（Gated RNN）起着至关重要的作用 GRNN：广义回归神经网络 Abstract ​    引入了一个神经网络，以统一的，自底向上的方式来学习基于向量的文本表示方法。该模型首次使用CNN/LSTM来学习句
ntu-hsuantienlin-ml:台湾大学林轩田机器学习笔记
05-29
台湾大学林轩田机器学习笔记贡献者：公众号：红色石头的机器学习之路‍下载Dockerdocker pull apachecn0/ntu-hsuantienlin-mldocker run -tid -p <port>:80 apachecn0/ntu-hsuantienlin-ml# 访问 ...
斯坦福大学机器学习教程ppt（lecture1-lecture5），人工智能，机器学习必读经典课程。
01-30
斯坦福大学机器学习教程ppt（lecture1-lecture5），人工智能，机器学习必读经典课程。
PyTorch深度学习实践 - Lecture_13_RNN Classifier 姓名国别分类数据
06-19
网课：PyTorch深度学习实践 - Lecture_13_RNN Classifier 姓名国别分类数据
Credit-Lecture-System:深圳大学 数学与统计学院 学分讲座系统
04-30
学分讲座系统深圳大学数学与统计学院学分讲座系统使用方法 正在施工:construction:发展须知 建立基本模型。 添加对api调用的rest框架支持。 自定义用户模型。 登录页面 注册页面（稍后） 用户模型从管理网站访问时...
递归神经网络RNN与LSTM
05-03
递归神经网络RNN与LSTM简介与算法推导。
rnn,lstm与GRU详解
05-20
三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解
Lecture5-Fragments:第五讲实用代码
05-29
第5讲-片段 第五讲实用代码
《深度学习进阶：自然语言处理》读书笔记：第6章 Gated RNN
weixin_44850744的博客
08-25 448
不幸的是，随着时间的回溯，这个简单RNN未能避免梯度变小（梯度消失）或者梯度变大（梯度爆炸）的命运。而LSTM的反向传播进行的不是矩阵乘积计算，而是对应元素的乘积计算，而且每次都会基于不同的门值进行对应元素的乘积计算。本章的主题是Gated RNN，我们指出了上一章的简单RNN中存在的梯度消失（或梯度爆炸）问题，说明了作为替代层的Gated RNN（具体指LSTM和GRU等）的有效性。我们想要的是一个泛化能力强的模型，因此必须基于训练数据和验证数据的评价差异，判断是否发生了过拟合，并据此来进行模型的设计。.
如何训练神经网络进行图像分类第1部分
weixin_26704853的博客
09-09 992
Image classification is a hot topic in data science with the past few years seeing huge improvements in many areas. It has a lot of applications everywhere including SEO. But how is this done? 图像分类是数据...
NLP学习笔记：GateRNN
m0_57190374的博客
02-09 228
反向传播矩阵连乘）；控制下一隐藏层 ht 的输出：o=sigmoid(x*Wx+h(t-1)*Wh+b)。控制记忆单元ct 遗忘不必要的信息:f=sigmoid(x*Wx+h(t-1)*Wh+b)。输入C(t-1)和h(t-1)经过tanh或者Sigmoid函数转换计算向下层输出ht,向下一LSTM输入ht和ct。将输入门i和记忆单元g的乘积添加到上一记忆单元c(t-1)；记忆单元反向传播为矩阵的对应元素乘积，每次都基于不同的门值进行对应元素的乘积。
RNN的 gates 机制：理解 LSTM 与 GRU
禅与计算机程序设计艺术
12-31 928
1.背景介绍 深度学习领域中，递归神经网络(Recurrent Neural Networks，RNN)是一种非常重要的神经网络结构，它能够处理序列数据，如自然语言、时间序列等。然而，传统的 RNN 在处理长距离依赖关系时存在梯度消失或梯度爆炸的问题，这导致了其表现不佳。为了解决这个问题，Long Short-Term Memory(LSTM)和Gated Recurrent Unit(GRU)...
（gated）RNN和LSTM实践注意的问题
Xiao_yanling的博客
07-02 276
1.初始化：把前一个cell隐藏状态乘起来对循环矩阵很有用，使用正交化方法很好；初始化的值一般设的小比较好，权重随机的初始化在0左右，但设置遗忘门的bias时，如果把bias设置为一个大小合适的正数效果会更好。 2.结合动态算法（Adam，AdaDelta）比基础SGD更好。 3.垂直方向使用dropout。 ...
Lecture+3-1+程序正确性和性能分析+1
08-04
在Lecture 3-1中，我们学习了关于程序的正确性和性能分析的内容。首先，我们介绍了一个函数f(k)，它满足f(0) = 1和对于任意的k，f(k) = k。这个函数可以用来说明程序的正确性。 接下来，我们学习了如何找出算法中的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值