深度学习笔记 -- RNN（一）

1、RNN介绍

在CNN和DNN中，训练样本的输入和输出是比较确定的，但是在比如基于时间的序列中，序列的长短是不一定的，很难直接拆分成一个个独立的样本来通过CNN或者DNN进行训练。

对于这类问题，RNN则比较擅长。比如是从序列索引1到序列索引r的。对于这其中的任意序列的索引号t，它对应的输入是对应的样本序列中的。而模型在序列索引号t的位置的隐藏状态，则由和在t-1位置的隐藏状态共同决定。在任意序列索引号t，我们也有对应的模型预测输出和训练序列真实输出，以及损失函数，我们就可以用DNN类似的方法训练模型，接着用来预测测试序列中的一些位置的输出。

2、RNN模型

以下介绍的是最常见的RNN模型;

这幅图描述了在序列索引号tt附近RNN的模型。其中：

　　　　1）