【深度学习笔记整理-6.2】循环神经网络:SimpleRNN

22 篇文章 0 订阅
21 篇文章 0 订阅

在之前的文章中,我们使用全连接神经网络解决了很多的问题,但是,这种解决问题的神经网络是不考虑顺序的,对于渐进式的,有顺序的数据,全连接神经网络往往不如循环神经网络的效果更好。

循环神经网络的最初想法,就是在全连接网络的基础之上,考虑前一层的数据,我们知道,全连接神经网络本质就是一堆非线性函数的叠加,其式子如下

\sigma \left ( ...\sigma( ...\sigma \left ( UX+b\right )X+b \right )X+b \right )...+b)X+b...)

若输入为128维的向量,下一层隐藏层为64维,则U为64*128的矩阵,其中128列与对应的128维相乘,64行中每一行的数值实际上就是128维与下一层第i行相连的权重向量。

循环神经网络最初的想法,就是在这个基础之上,加上上一层经过变换后的向量,即

\sigma \left ( ...\sigma( ...\sigma \left ( UX_{t}+Vh_{t-1}+b\right )X+b \right )X+b \right )...+b)X+b...)

其中h_{t-1}是上一层隐藏层输出的结果,X_{t}是t时刻的输入,假设输入为32维向量,隐藏层为32维,则我们需要估计(32+1)*32+32*32=2080个参数。实际上这就是keras中SimpleRNN需要估计的参数个数,LSTM为其4倍,GRU为3倍。

RNN本质上也是一个神经网络,传统上,我们经常把横轴作为时间轴,实际上这个时间轴就是为数据有序输入而准备的,其画法如下:

但实际上他就是一个循环利用上一层隐藏层的单个神经网络,其竖直方向是传统意义上的神经网络。

在keras中,若想进行RNN的堆叠,则return_sequence参数必须设为True,这样返回的才是一系列数据,如果后面不想接RNN,而是想对某句由多词组合的句子进行进一步分析,则return_sequence可为False。

 

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值