深度学习（19）：循环序列模型

引言

在之前我们学习的各种内容中（图像识别啊，分类问题啊），我们的输入在时间上没有先后顺序。然而在语音识别、自然语言处理当中，我们的各项输入是有先后顺序的。（例如句子当中词的先后顺序，声音来源的先后顺序）为了捕获这种时间顺序相关的特征，我们引入循环序列模型。

one hot 表示

在自然语言处理当中，如何对每一个单词进行表示是一个重要问题。在这里我们采用one-hot表示方法。
假如我们训练的模型当中词汇量为3个，那么我们对三个单词分别编码为：
[1, 0, 0]
[0, 1 ,0]
[0, 0, 1]
可以看出，每个编码都是一个长度为3的一维向量，并且向量中有且只有一个位置是1，这就是one- hot
我们可能会想，为什么不直接用0， 1， 2这样进行编码呢？还能省点空间。原因是因为这样编码会导致本来本啥关系的词突然出现了序关系，这会对模型产生影响。（苹果没有道理比鸭梨大，反之亦然）还有一个原因是，直接编码会导致元素之间的距离不再相同（苹果=1， 鸭梨=2， 鸡蛋 = 0， 鸡蛋与苹果之间的距离小于鸡蛋和鸭梨之间的距离），这会给各个词之间添加莫名其妙的关系。

RNN模型

引入RNN的意义就是要利用好上下文的信息。为了简单起见，我们先构造一个RNN模型，使得模型可以利用上文的信息。
一个显然的想法是，既然需要利用上文信息，那么每一个单词X的输出，既要受到自己X的影响&#x