机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

RNN处理时间序列数据的时候,不仅可以正序,也可以正序+逆序(双向)。下面显示的RNN模型,不仅仅是simple RNN,可以是LSTM,或者GRU

1 BiDirectional RNN

在这里插入图片描述

当然,RNN的层数也不仅仅是一层
在这里插入图片描述

2. Highway network

通过传统的Feedforward neural network和 RNN的学习,对于初学者来讲,貌似二者网络结构差异较大,没有交集。 但是实则不然,我们一起来分析一下。

(1)Feedforward与RNN 网络结构对比

  • Feedforward network does not have input at each step
  • Feedforward network has different parameters for each layer

在这里插入图片描述
当我们尝试在前向网络中加入Gate门限,我们会得到什么?

(2)Highway Network
Highway Network 实际上就是竖起来的RNN

Highway Network 与GRU之间的区别

  • No input xt at each step
  • No output yt at each step
  • at-1 is the output of the (t-1)-th layer
  • at is the output of the t-th layer
  • No reset gate

Highway network 的公式:
在这里插入图片描述
在这里插入图片描述

我们熟知的残差神经网络其实就是Highway Network 的一种变种
在这里插入图片描述
Highway network 实际上可以自动决定网络的层数:
在这里插入图片描述
(3) Grid LSTM
传统的LSTM memory在一个维度,Grid LSTM增加了输入和输出的维度,Memory for both time and depth

在这里插入图片描述
整体time和depth的结构图:
在这里插入图片描述
我们拆解一下Grid LSTM
在这里插入图片描述

(4) 3D Grid LSTM
又增加一个memory维度
在这里插入图片描述

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229,斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里,感谢这些经典课程,向他们致敬!

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值