深度学习（九）

循环神经网络

one-hot向量

指明了在词典中的位置，当前位置为1，其余位置全为0

结构

1、不仅使用当前输入，还使用原来的输入

2、多对一的结构：不再是每个时间步都有输出，而是最后一个时间步有输出
除此之外，还有一对多，多对多结构（输入输出长度不一致）

3、GRU：
解决了深度网络的依赖性，即长时间记住某个值，其公式如下：
${c^{ < t > }} = {\Gamma _u}*{\hat c^{ < t > }} + (1 - {\Gamma _u})*{c^{ < t - 1 > }}$

LSTM

1、定义：

双向RNN

不仅可以利用过去的信息，而且可以利用未来的信息，示意图如下：

缺点：需要语言的完整表达才能进行预测

深层RNN