循环神经网络(recurrent neural network)(RNN)

RNN

架构图

话不多说，直接上网络架构

PS：你如果斜着看就和你通常看到的RNN网络架构是一样的了，不过这不影响什么。

剖析

要点如下：

• 输入：依次输入(x1,x2,…xt)
• 参数：U,V,W,h0。
• 输出：依次输出(o1,o2,…ot)

问题：

1. 能不能同时输入而不是依次输入(x1,x2,…xt)？可以，但是没有必要，因为根据架构图RNN会先处理x1,得到h1,有了h1才能处理x2。
2. 能不能同时输出而不是依次输出(o1,o2,…ot)？可以，若现在处于训练阶段则此方式可以认为是一个批量更新参数U,V,W，但是这种方式你需要保存（h1,h2,…ht），然后激活后乘以V得到(o1,o2,…ot)，同时输出。若现在处于测试阶段，则只需要依次保存h1,h2,…ht，然后乘以V即可。
3. 架构图中所有的U,V,W是一样的吗？是的，权值共享。
4. h0如何设置？随机初始化即可，同样是参数，要进行训练。

数据流

三步要牢记。

$h_1=U{x}_1+W{h}_0$
$h_1^{{}^{\prime }}=f(h_1)$，其中$f$是激活函数
$o_1=V{h}_1^{{}^{\prime }}$

上面只列举了前3步计算，然后$h_1$作为“历史信息”继续传递下去和W相乘，可以看网络架构图。

实际应用

背景：基于RNN的语言模型，我们希望这个网络做到：

输入x1=bush的时候，o1输出held。即这个网络可以根据以前的历史信息，猜测下一个词我想要输入的是什么，这不就是你手机的输入法吗？同理，输入x4=talk,希望输出o4=with。

已知：图中输入的那些向量，比如向量(0.2,0.2)代表Bush。
初始化：
U,V,W。


PS:这里的V有个小技巧，可以用输入的那6个向量来构成，那么也是2*6的矩阵。不过我这里随机的。

h0

正向传播

然后套公式（ 此处省略）。
$h_1^{{}^{\prime }}=f(h_1)$
$o_1=V{h}_1^{{}^{\prime }}$

可以得到(6,1)的向量o1，假设结果是下面这样（我懒得算）

这不正好对应着我们的6个词吗？
发现第二个维度（对应held）是所有6个数里面最大的，那么说明RNN成功预测了held。
但是如果不是最大的，假设是这样

那么RNN认为Bush后面应该接Bush，预测错误，那么应该使用惩罚函数梯度回传，调整参数U,V,W,h0。因为预测错误，罪魁祸首就是U,V,W,h0。

读完了x1,接着使用x2和h1进入下一轮训练。

优点

RNN的优秀思想是：

1. 可以使得网络的输入神经元可以无限多，试想FNN前馈神经网络就不行，因为输入层的神经元个数是固定的。
2. 后面的输出需要依赖$h_{t-1}$，这个$h_{t-1}$包含了历史信息，因为得到$h_{t-1}$需要$h_0,h_1,....$。而历史信息在很多问题中是非常重要的。

RNN或基于RNN的网络是处理含时间序列和有上下文问题的小能手。