RNN循环神经网络
- 隐藏层之间的节点不再是无连接
- 隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
- 缺点:经过多次迭代容易梯度爆炸
- 实现语句:tf.nn.dynamic_rnn
LSTM(长短时记忆 )网络 [RNN的特殊类型]
- 拥有固定权值为1的自连接,以及一个线性激活函数,因此其局部偏导为1
- 误差可以在时间步中传递,而不会消失或爆炸
- 通过门可以让信息不通过、完全通过、部分通过
变体:GRU门限循环单元
- 只有一个门(更新门):决定了内部状态与输入状态的融合比例
- 实现语句:tf.contrib.rnn.GRUCell