自然语言处理-自学笔记-06 递归神经网络

递归神经网络

递归神经网络旨在处理序列数据，如文本或股票价格。RNN维护一个状态变量，用于捕获序列数据中存在的各种模式。RNN随时间共享相同的参数集，随时间共享参数是RNN的重要部分。对于在序列中观察到的每个输入，状态变量将随时间更新。在给定先前观察到的序列值的情况下，这些随时间共享的参数通过与状态向量组合，能够预测序列的下一个值。由于一次只处理一个元素，因此RNN可以处理任意长度的数据，而无需使用特殊标记填充数据。

理解RNN

RNN会维持一个状态变量，这个变量会随时间演化，实现对序列数据建模。一组循环连接会随时间更新状态变量。循环连接根据RNN过去的存储状态更新当前状态变量，使RNN可以基于当前输入以及先前输入进行预测。

前馈神经网络的问题

前馈神经网络在时间$t$的预测输出$y_t$仅取决于当前输入$x_t$，而对产生$x_t$的输入$(x_1,...,x_{t-1})$没有了解。前馈神经网络失效。

用递归神经网络进行建模

现有如下数据：
x = { x 1 , x 2 , . . . , x T } , y = { y 1 , y 2 , . . . , y T } x=\{ x_1,x_2,...,x_T\},y=\{ y_1,y_2,...,y_T\} x={x1​,x2​,...,xT​},y={y1​,y2​,...,yT​}
假定有如下关系：
$$h_t=g_1(x_t,h_{t-1})$$$$y_t=g_2(h_t)$$
用参数是$\theta$的函数逼近器$f_1(x_t,h_{t-1};\theta )$替换$g_1$，用$f_2(h_t;\phi )$替换$g_2$，如下所示：
$$h_t=f_1(x_t,h_{t-1};\theta )$$$$y_t=f_2(h_t;\phi )$$
可以得到：
$$y_t=f_2(f_1(x_t,h_{t-1};\theta );\phi )$$

RNN的技术描述

上面得到了近似函数：
$$h_t=f_1(x_t,h_{t-1};\theta )$$$$y_t=f_2(h_t;\phi )$$
神经网络由一组权重和偏置以及一些非线性激活函数组成。可以将上面的关系写成如下：
$$h_t=tanh(U{x}_t+W{h}_{t-1})$$$$y_t=softmax(V{h}_t)$$

基于时间的反向传播（BPTT）

反向传播的工作原理

反向传播是用于训练前馈神经网络的技术。反向传播进行以下操作：

1. 计算给定输入的预测结果。
2. 计算预测误差E（均方误差和交叉熵误差）。
3. 通过在所有 $w_{ij}$的梯度$\frac{\partial E}{\partial w_{ij}}$的相反方向上前进一小步，更新前馈网络的权值，以便最小化步骤2中计算的损失$w_{ij}$是第$i$层第$j$个权重。

为什么RNN不能直接使用反向传播

当使用链式法则计算$\frac{\partial E}{\partial w_3}$时：

$$\frac{\partial E}{\partial w_3}=\frac{\partial L}{\partial w_y}\frac{\partial y}{\partial w_h}\frac{\partial h}{\partial w_3}$$
可以将上式变为：
$$\frac{\partial E}{\partial w_3}=\frac{\partial {(y-l)}^2}{\partial y}\frac{\partial (w_{2}h)}{\partial h}(\frac{\partial (w_{1}x)}{\partial w_3}+\frac{\partial w_{3}h}{\partial w_3})$$
其中$\frac{\partial w_{3}h}{\partial w_3}$会出现问题，因为这是递归变量。会得到无穷多的导数项。要解决这一问题，可以将输入序列随时间展开，为每个输入$x_t$创建RNN的副本，并分别计算每个副本的导数，通过计算梯度的总和将他们回滚，以计算需要更新的权重大小。

基于时间序列的反向传播：训练RNN

计算RNN不考虑单个输入，而是考虑完整的输入序列。例如计算第4时间步的 $\frac{\partial E}{\partial w_3}$，可以得到：
$$\frac{\partial E}{\partial w_3}=\sum _{j=1}^3\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}\frac{\partial h_4}{\partial h_j}\frac{\partial h_j}{\partial w_3}$$
这意味着需要计算直到第4个时间点的所有时间步的梯度之和，首先展开序列，对每个时间步$j$计算$\frac{\partial h_4}{\partial h_j}$和$\frac{\partial h_j}{\partial w_3}$，通过创建4份RNN的副本完成的。为了计算$\frac{\partial h_t}{\partial h_j}$，需要$t-j+1$个RNN副本。然后将副本汇总到单个RNN，求所有先前时间步长的梯度和得到一个梯度，并用$\frac{\partial E}{\partial w_3}$更新RNN。
为了获得更高的计算效率，可以使用BPTT的近似，即截断的基于时间的反向传播（TBPTT），来优化递归模型。

截断的BPTT：更有效地训练RNN

在TBPTT中仅计算固定数量T个时间步长的梯度，当计算时间步长t的$\frac{\partial E}{\partial w_3}$时，只计算到$t-T$：
$$\frac{\partial E}{\partial w_3}=\sum _{j=t-T}^{t-1}\frac{\partial L}{\partial y_t}\frac{\partial y_t}{\partial h_t}\frac{\partial h_t}{\partial h_j}\frac{\partial h_j}{\partial w_3}$$
在标准BPTT中，对于每个时间步长$t$，我们计算直到序列最开始的导数。在序列长度很大时，在计算上变得不可行。在截断BPTT中，仅向后计算固定数量的导数，随着序列变大，计算成本不会改变。

BPTT的限制：梯度消失和梯度爆炸

展开$\frac{\partial E}{\partial w_3}$中单独的一项，如下所示：
$$\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}\frac{\partial h_4}{\partial h_j}\frac{\partial h_j}{\partial w_3}=\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}\frac{\partial (w_{1}x+w_3{h}_3)}{\partial h_1}\frac{\partial (w_{1}x+w_3{h}_0)}{\partial w_3}$$由于循环连接导致了反向传播的问题，因此忽略$w_{1}x$，考虑如下：$$\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}\frac{\partial h_4}{\partial h_j}\frac{\partial h_j}{\partial w_3}=\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}\frac{\partial (w_3{h}_3)}{\partial h_1}\frac{\partial (w_3{h}_0)}{\partial w_3}$$通过简单的算数运算，可以得到：$$\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}\frac{\partial (w_3{h}_3)}{\partial h_1}\frac{\partial (w_3{h}_0)}{\partial w_3}=\frac{\partial L}{\partial y_4}\frac{\partial y_4}{\partial h_4}{h}_0{w}_3^3$$
当只有4个时间步时，有一项$w_3^3$。在第n个时间步，它将变为$w_3^{n-1}$如果$w_3$的初始化值很小（0.00001），那么在$n=100$时，梯度将是无穷小。由于计算机在表示数字方面精度有限，因此将忽略这次更新（即算术下溢），这就叫做梯度消失。能在一定程度上解决梯度消失问题的集中技术是在初始化权重的时候格外小心，或使用基于动量的优化方法。
另一方面，假设我们将$w_3$初始化为一个很大值，比如1000.00，在$n=100$时间步常。梯度将是巨大的。内存会溢出，导致梯度爆炸。
另外，面对复杂的非凸损失面，非常高的曲率会形成墙，在进行优化时，梯度将爆炸或过冲。这可能导致损失最小化很差或数值不稳定性。在这种情况下避免梯度爆炸的简单解决方案是在梯度大于某个阈值时，将梯度剪裁为合理小的值。