TensorFlow循环神经网络(RNN):实现MNIST数据集识别

RNN循环神经网络

  • 隐藏层之间的节点不再是无连接
  • 隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
  • 缺点:经过多次迭代容易梯度爆炸
  • 实现语句:tf.nn.dynamic_rnn

LSTM(长短时记忆 )网络 [RNN的特殊类型]

  • 拥有固定权值为1的自连接,以及一个线性激活函数,因此其局部偏导为1
  • 误差可以在时间步中传递,而不会消失或爆炸
  • 通过门可以让信息不通过、完全通过、部分通过

变体:GRU门限循环单元

  • 只有一个门(更新门):决定了内部状态与输入状态的融合比例
  • 实现语句:tf.contrib.rnn.GRUCell

代码在哲理哦!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值