2016.4.15 nature deep learning review[3]

循环神经网络一段。反向传播最令人激动的应用是应用于rnn的，对于包含序列化输入的文本来说，比如说语言和语音，通常使用rnn来进行处理。rnn每次处理一个序列中的一个元素。保持隐藏层的神经元作为一个状态向量，能够精确的表达这个序列过去元素的历史信息。当我们讲输出的隐藏层看作是不同的step的时候，我们可以将它们看作是在一个深度网络中的不同层次，也就能够应用反向传播去训练rnn。

Rnn对于动态系统非常管用，但是训练是个大问题，因为使用反向传播或者梯度下降在每步汇总都会缩小或者增大，所以经过许多步之后容易梯度爆炸，或者梯度扩散。

不过多亏了结构上的优势和训练上的方法，rnn在预测文本的下一个字符上非常有优势.有时候rnn也应用在负载一些的任务上，比如说读过一个英语句子之后，一个编码网络可以学到这个句子，使得隐藏层中的向量能够很好的代表原来的句子。这个向量可以作为解码网络隐藏状态的初始化，解码网络用于输出第一个法语翻译单词的概率分布。第一个单词确定了之后，能够继续输出第二个单词的概率分布，直到翻译完成。总的来说，这个过程根据一个英语句子，通过概率来产生一个法语翻译。这个简单直接的机器翻译的方法很有竞争力，并且引发了人们的思考：是否可以用规则理解一句话，还是有许多音素共同构成了理解（？似乎是？）

除了将一句话从法语翻译成英语，同样可以将一幅图的理解翻译成一段英文的文字。编码是一个convnet能够将像素图片转化成为一个激活响亮，decoder是一个rnn用来进行机器翻译和语言模型。最近有很多有趣的研究。

Rnn的展开形式可以看作是深度前馈网络，但是每一层之间有相同的权重，尽管它们的主要目的是长期的一个学习，但是理论上和经验上的研究显示很难长时间的存储信息。

所以为了纠正这一点，就发明了lstm，能够记忆本层的信息，所以在每次训练的时候都会把上一次的结果累计下来，然后再和本次的结果相加，这样能够使得神经网络能够记住之前的信息，同时还有一个小开关控制是否这个按钮要清零。

Lstm