GRU详解全网最强大厂面试级深度的知识点整理

1. 什么是GRU

GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network, RNN)的一种。和LSTM(Long-Short Term Memory)一样,也是为了解决长期记忆和反向传播中的梯度等问题而提出来的

GRU和LSTM在很多情况下实际表现上相差无几,那么为什么我们要使用新人**GRU(2014年提出)而不是相对经受了更多考验的LSTM(1997提出)**呢。

引用论文中的一段话来说明GRU的优势所在:
在这里插入图片描述
简单来说就是贫穷限制了我们的计算能力…

相比LSTM,使用GRU能够达到相当的效果,并且相比之下更容易进行训练,能够很大程度上提高训练效率,因此很多时候会更倾向于使用GRU。

OK,那么为什么说GRU更容易进行训练呢,下面开始介绍一下GRU的内部结构。

2. GRU浅析

2.1 GRU的输入输出结构

GRU的输入输出结构与普通的RNN是一样的。
在这里插入图片描述
那么,GRU到底有什么特别之处呢?下面来对它的内部结构进行分析!

2.2 GRU的内部结构

在这里插入图片描述
在这里插入图片描述
这里的 h ′ h' h 主要是包含了当前输入的 x t x^t xt 数据。有针对性地将 h ′ h' h 添加到当前的隐藏状态(下图中 h t h^t ht的计算里包含有 h ′ h' h),相当于“记忆了当前时刻的状态”。先看下面的总体的更新公式,再回头记忆这个公式会好记一点。
在这里插入图片描述
在这里插入图片描述
GRU必须先看上面的这个更新表达式,然后再对 h ′ h' h进行展开理解!!!
在这里插入图片描述
在这里插入图片描述

3. LSTM与GRU的关系

在这里插入图片描述

4. 总结

GRU输入输出的结构与普通的RNN相似,其中的内部思想与LSTM相似。

与LSTM相比,GRU内部少了一个”门控“,参数比LSTM少,但是却也能够达到与LSTM相当的功能。考虑到硬件的计算能力和时间成本,因而很多时候我们也就会选择更加”实用“的GRU啦。

在实践中,一般认为LSTM和GRU之间并没有明显的优胜者。因为GRU具有较少的参数,所以训练速度快,而且所需要的样本也比较少。而LSTM具有较多的参数,比较适合具有大量样本的情况,可能会获得较优的模型。

在Andrew的课程中表示,如果只能选择一个模型,那么LSTM是大家的default RNN。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xu_Wave

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值