门控循环单元 GRU 动手学深度学习v2

最新推荐文章于 2024-09-20 22:08:40 发布
最新推荐文章于 2024-09-20 22:08:40 发布
阅读量183 收藏
点赞数
分类专栏： 李沐动手学深度学习 文章标签： 深度学习 gru rnn 门控循环单元
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zgpeace/article/details/124679799
版权
门控循环单元（GRU）在处理文本序列时，相较于传统循环神经网络（RNN），具备更好的稳定性，不易发生梯度消失或爆炸。GRU在捕捉如猫和老鼠等重要信息时，能有效地记住关键出现并忽略冗余。在长文本场景下，GRU和LSTM的表现优于RNN，甚至在更长序列中，BERT等预训练模型成为首选。博客探讨了GRU在处理长文本时的优越性及其在实际应用中的选择。
摘要由CSDN通过智能技术生成

1. 门控循环单元 GRU

在这里插入图片描述
不是每个元素都很重要，比如猫重复了很多次，只有第一次看到猫才比较重要，其它的猫可以被忘记掉。老鼠只出现一次，但也是很重要的。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 代码实现

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
简洁实现
在这里插入图片描述

3. Q&A

    1. GRU相比RNN多了很多参数，但是GRU比RNN更稳定，也就是不会导致梯度爆炸。
    1. RNN在长文本的时候效果不好，所以用GRU，LSTM效果会比较好，能做到100左右。超过100可以用BERT。

参考

https://www.bilibili.com/video/BV1mf4y157N2?p=1

AI架构师易筋
关注
专栏目录
门控循环单元（GRU）【动手学深度学习v2】
东方
11-04 463
候选隐藏状态。圆圈 表示 按元素乘法。这里面的这个符号值得是 按元素相乘。Rt理解为 和Ht 长度一样的一维向量。（这么理解）这里如果Rt长的像0的话，那么乘出来的结果，就也像0。要是像0 的话，相当于是说 把上一刻的隐藏转态给遗忘掉。在这里Rt是可以学的。全是0的话，相当于回到初始转态。全是1的话，都保留。
李沐动手学深度学习V2-GRU门控循环单元以及代码实现
flyingluohaipeng的博客
06-29 1772
我们可能会遇到这样的情况： 1）早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和， 目标是在序列的末尾辨别校验和是否正确。 在这种情况下，第一个词元的影响至关重要，我们希望有某些机制能够在一个记忆元里存储重要的早期信息， 如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度， 因为它会影响所有后续的观测值。 2) 一些词元没有相关的观测值。 例如在对网页内容进行情感分析时， 可能有一些辅助HTML代码与网页传达的情绪无关，希望有一些机制来跳过隐
现代循环神经网络-1.门控循环单元（GRU）【动手学深度学习v2】
qq_37431083的博客
05-03 1851
文章目录1.门控循环单元(GRU)1.1 门控隐状态A.重置门与更新门 1.门控循环单元(GRU) GRU是一个比较新的提出来的，在LSTM之后提出，但是相比LSTM思想更简单一点，效果也差不多，但是GRU的计算速度比LSTM更快。 在RNN中，太长的信息处理效果并不好，因为RNN将所有信息都放进隐藏单元里，当时间步很长时，隐藏状态可能累积了太多信息，对前面很久出现的信息可能就会被忽略或淡化。在一个序列中，不是每个观测值都是很重要的，而且序列的各个部分之间存在逻辑中断，例如书章节之间的过渡，为了解决这些问题
【动手学深度学习笔记】--门控循环单元GRU
qq_46656857的博客
09-09 970
动手学深度学习笔记
56 门控循环单元（GRU）【动手学深度学习v2】
Cypresszky的博客
02-09 408
笔记
动手学深度学习v2-GRU
z577554980的博客
09-12 509
!pip install d2l import torch from torch import nn from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) def get_params(vocab_size, num_hiddens, device): num_inputs = num_ou.
门控循环单元（GRU）
qq_52237775的博客
09-18 495
GRU：门控循环单元，与LSTM类似，解决RNN中不能长期记忆和反向传播中的梯度等问题。但结构比LSTM简单。关注一个序列，不是每个观察值都是同等重要，想只记住相关的观察需要：能关注的机制（更新门）能遗忘的机制（遗忘门）
李沐动手学深度学习V2-深度循环神经网络和代码实现
flyingluohaipeng的博客
06-30 643
与多层感知机一样，循环神经网络也可以将多层循环神经网络堆叠在一起， 通过对几个简单层的组合，产生了一个灵活的机制。 特别是，数据可能与不同层的堆叠有关。 下图所示描述了一个具有 𝐿 个隐藏层的深度循环神经网络， 每个隐状态都连续地传递到当前层的下一个时间步输入和当前层下一层的当前时间步输入。 假设在时间步ttt有一个小批量的输入数据Xt∈Rn×d\mathbf{X}_t \in \mathbb{R}^{n \times d}Xt​∈Rn×d（样本数：nnn，每个样本中的输入数：ddd）。同时，将lthl^.
李沐动手学深度学习V2-双向循环神经网络Bidirectional RNN和代码实现
flyingluohaipeng的博客
06-30 1389
在序列学习中，以往假设的目标是：在给定观测的情况下（例如在时间序列的上下文中或在语言模型的上下文中），对下一个输出进行建模，虽然这是一个典型情景，但不是唯一的，例如我们考虑以下三个在文本序列中填空的任务：根据可获得的信息量，我们可以用不同的词填空，如“很高兴”（“happy”）、“不”（“not”）和“非常”（“very”）。很明显每个短语的“下文”传达了重要信息（如果有的话），而这些信息关乎到选择哪个词来填空，所以无法利用这一点的序列模型将在相关任务上表现不佳。 例如如果要做好命名实体识别（例如，识别“G
台大李宏毅一天搞懂深度学习公开课课件（ppt）下
07-27
4. **More Seq (v8).pptx**：这部分可能进一步探讨序列模型，尤其是深度学习在处理时间序列数据方面的应用，比如长短时记忆网络（LSTM）和门控循环单元（GRU）。 5. **RNNLM (v3).pptx**：RNNLM（循环神经网络语言...
55_循环神经网络RNN的实现 动手学深度学习 PyTorch版 李沐视频课笔记
tangailong8709的博客
02-15 1058
55_循环神经网络RNN的实现 动手学深度学习 PyTorch版 李沐视频课笔记
基于深度学习的入侵检测系统设计与实现
程序员光剑
08-06 1247
基于深度学习的入侵检测系统在提高检测精度和效率方面展现出了巨大的潜力，然而，它仍然面临着一些挑战，例如数据标准化、模型解释性、攻击的多样性等。未来，我们需要在这些方面进行更深入的研究，并开发出更强大的入侵检测系统。
《深入浅出AI》前言知识：深度学习基础总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
09-13 1596
本文详细介绍了深度学习的基础知识、主要概念和术语、以及经典的深度学习算法。深度学习是机器学习的一个分支，侧重于构建和训练神经网络以自动提取特征。文章探讨了深度学习的优缺点，比较了机器学习与深度学习的区别，并讨论了如卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GANs）和深度强化学习（RL）等深度学习模型。此外，文中还介绍了如何使用深度学习进行手写数字识别任务，包括数据准备、网络配置、模型训练、评估和预测的步骤，并通过实例展示了整个流程。最后，分享自己精心制作的深度学习思维导图。
GRU(门控循环单元)的原理与代码实现
Hiweir的博客
09-16 426
GRU(门控循环单元)的原理与代码实现
机器学习与深度学习的区别
警警的博客
09-14 1706
机器学习与深度学习
【图像去噪】论文精读：Enhanced CNN for image denoising（ECNDNet）
畅游计算机视觉的海洋
09-14 408
论文题目：Enhanced CNN for image denoising —— 用于图像去噪的增强CNN由于深度卷积神经网络 (CNN) 的灵活架构已成功用于图像去噪。然而，它们存在以下缺点：（i）深度网络架构很难训练。(ii)更深的网络面临性能饱和的挑战。在这项研究中，作者提出了一种称为增强卷积神经网络 (ECNDNet) 的新方法。具体来说，他们使用残差学习和批量归一化技术来解决训练困难的问题，加快网络的收敛性。此外，在所提出的网络中使用扩张卷积来扩大上下文信息并降低计算成本。
主流卷积神经网络CNN总结
最新发布
m0_63294504的博客
09-20 401
引入通道注意力机制，可以在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，并提高任务处理的效率和准确性。，将原ResNet网络中的block替换成由group分组的block，两者得到的feature map一致，只是参数量更少了。这样，SE-Net就能够根据输入数据的特性自适应地调整不同通道的特征响应，使得网络更加关注那些对任务更有帮助的通道。最后，通过乘法操作将学习到的权重应用于输入特征图，以增强有用的特征并抑制无用的特征。
基于深度学习的因果推理与决策
weixin_42605076的博客
09-17 1153
是一个将因果推理理论与深度学习技术结合，旨在从数据中学习因果关系并基于此做出最优决策的领域。因果推理不仅关注变量之间的相关性，还侧重于发现变量之间的因果关系，而这些因果关系是决策系统做出有效决策的关键。
理解GRU：门控循环神经网络在AI公益学习中的应用
"AI公益学习循环神经网络进阶" 在AI领域，循环神经网络（Recurrent Neural Networks, RNN）是一种广泛应用于处理序列数据的深度学习模型。然而，标准的RNN在训练过程中会遇到梯度消失（vanishing gradient）或梯度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值