循环神经网络

前言

处理时间序列数据 （语音识别，语言模型，自然语言生成…）

前馈神经网络（卷积神经网络）：

1. 信息单向传递 在一定程度上也减弱了神经网络模型的能力
2. 时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变

循环神经网络具有短期记忆能力的神经网络．在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．

循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上

循环神经网络的参数学习可以通过随时间反向传播算法来学习．

随时间反向传播算法即按照时间的逆序将错误信息一步步地往前传递．当输入序列比较长时，会存在梯度爆炸和消失问题，也称为长程依赖问题．

为了解决这个问题，人们对循环神经网络进行了很多的改进，其中最有效的改进方式引入门控机制.

短期记忆能力实现

• 添加延时器
• 自反馈神经元

延时神经网络（Time Delay Neural Network，TDNN）

建立一个额外的延时单元，用来存储网络的历史信息（可以包括输入、输出、隐状态等）

延时神经网络是在前馈网络中的 非输出层都添加一个延时器 ，记录神经元的最近几次活性值．在第 $t$ 个时刻，第 $l$ 层神经元的活性值依赖于第 $l-1$ 层神经元的最近 $K$ 个时刻的活性值，即
$$h_t^{(l)}=f(h_t^{(l-1)},h_{t-1}^{(l-1)},...,h_{t-K}^{(l-1)})$$
其中 $h_t^{(l)}\in R^{M_l}$ 表示第 $l$ 层神经元时刻 $t$ 的活性值， $M_l$ 为第 $l$ 层的神经元数量。

有外部输入的非线性自回归模型

自回归模型（AutoRegressive Model，AR）是统计学上常用的一类时间序列模型，用一个变量 $y_t$ 的历史信息来预测自己．
$$y_t=w_0+\sum _{k=1}^K{w}_k{y}_{t-k}+{ϵ}_t$$
其中K 为超参数，$w_0,...,w_K$ 为可学习参数，${ϵ}_t\sim N(0,{\sigma }^2)$ 为第𝑡 个时刻的噪声，方差 ${\sigma }^2$ 和时间无关．

有外部输入的非线性自回归模型（Nonlinear AutoRegressive with Exogenous Inputs Model，NARX)在每个时刻 $t$ 都有一个外部输入 $x_t$ ，产生一个输出 $y_t$．
NARX通过一个 延时器 记录最近 $K_x$ 次的外部输入和最近 $K_y$ 次的输出 ，第 $t$ 个时刻的输出 $y_t$ 为
$$y_t=f(x_t,x_{t-1},...,x_{t-K_x},y_{t-1},y_{t-2},...,y_{t-K_y})$$
其中 $f(.)$ 表示非线性函数，可以是一个前馈网络，$K_x$ 和 $K_y$ 为超参数．

循环神经网络(Recurrent Neural Network，RNN)

通过使用带自反馈的神经元，能够处理任意长度的时序数据．

给定一个输入序列 $x_{1:T}=(x_1,x_2,...,x_t,...,x_T)$ ，循环神经网络通过下面公式更新带反馈边的隐藏层的活性值 $h_t:$

$$h_t=f(h_{t-1},x_t),$$

其中 $h_0=0$ ，$f(.)$ 为一个非线性函数，可以是一个前馈网络．

隐藏层循环：隐藏层数据会根据上一时刻该层数据进行循环。

前馈神经网络可以模拟任何连续函数，而循环神经网络可以模拟任何程序．

简单循环网络

简单循环网络（Simple Recurrent Network，SRN）是一个非常简单的循环神经网络，只有一个隐藏层的神经网络．

在一个两层的前馈神经网络中，连接存在相邻的层与层之间， 隐藏层的节点之间是无连接的． 而简单循环网络增加了 从隐藏层到隐藏层的反馈连接.

令向量 $x_t\in R^M$ 表示在时刻 $t$ 时网络的输入，$h_t\in R^D$ 表示隐藏层状态（即隐藏层神经元活性值），则 $h_t$ 不仅和当前时刻的输入 $x_t$ 相关，也和上一个时刻的隐藏层状态 $h_{t-1}$ 相关．简单循环网络在时刻t 的更新公式为
$$\begin{gathered} 净输入：z_t=U{h}_{t-1}+W{x}_t+b \\ t时刻状态：h_t=f(z_t) \end{gathered}$$
$U\in R^{D\ast D}$ 为 状态-状态权重矩阵，$W\in R^{D\ast M}$ 为状态-输入权重矩阵，$b\in R^D$ 为偏置向量, $f(.)$ 通常取sigmoid型函数。

如果我们把每个时刻的状态都看作前馈神经网络的一层，循环神经网络可以看作在时间维度上权值共享的神经网络。

循环神经网络的计算能力

定义：完全连接的循环神经网络，输入 $x_t$ , 输出 $y_t$ ,

$$\begin{gathered} h_t=f(U{h}_{t-1}+W{x}_t+b) \\ {y}_t=V{h}_t \end{gathered}$$

其中 $h$ 为隐状态，$f(.)$ 为非线性激活函数，$U,W,b,V$ 为RNN的参数。

循环神经网络的通用近似定理
如果一个完全连接的循环神经网络有足够数量的 sigmoid 型隐藏神经元，它可以 以任意的准确率去近似任何一个非线性动力系统¹
$$\begin{array}{rl}非线性动力系统：& \\ s_t& =g(s_{t-1},x_t)\\ y_t& =o(s_t)\end{array}$$
其中 $s_t$ 为每个时刻的隐状态，$x_t$ 是外部输入，$g(.)$ 是可测的状态转换函数，$o(.)$ 是连续输出函数，并且对状态空间的紧致性没有限制．

证明：首先根据通用近似原理²：两层的前馈神经网络可以近似任意有界闭集上的任意连续函数．因此，动力系统的两个函数可以用两层的全连接前馈网络近似.

证明思路：非线性动态系统的两个函数可以分别用两层前馈神经网络表示

首先，非线性动力系统的状态转换函数 $s_t=g(s_{t-1},x_t)$ 可以由一个两层的神经网络 $s_t=Cf(A{s}_{t-1}+B{x}_t+b)$ 来近似，可以分解为

$$\begin{array}{rl}{s}_t^{\ast }& =f(A{s}_{t-1}+B{x}_t+b)\\ & =f(AC{s}_{t-1}^{\ast }+B{x}_t+b),\\ s_t& =C{s}_t^{\ast }\end{array}$$

其中𝑨, 𝑩, 𝑪 为权重矩阵，𝒃为偏置向量．

非线性动力系统的输出函数 $y_t=o(s_t)=o(g(s_{t-1},x_t))$ 也可以用一个两层的前馈神经网络近似．

$$\begin{array}{rl}{y}_t^{\ast }& =f(A^{\ast }{s}_{t-1}+B^{\ast }{x}_t+b^{\ast })\\ & =f(A^{\ast }C{s}_{t-1}^{\ast }+B^{\ast }{x}_t+b^{\ast }),\\ y_t& =D{y}_t^{\ast }\end{array}$$
其中 $A^{\ast },B^{\ast },D$ 为权重矩阵，$b^{\ast }$ 为偏置向量．

即

$$\begin{gathered} \left[\begin{array}{c}{s}_t^{\ast }\\ y_t^{\ast }\end{array}\right]=f(\left[\begin{array}{cc}AC& 0\\ A^{\ast }C& 0\end{array}\right]\left[\begin{array}{c}{s}_{t-1}^{\ast }\\ y_{t-1}^{\ast }\end{array}\right]+\left[\begin{array}{c}B\\ B^{\ast }\end{array}\right]x_t+\left[\begin{array}{c}b\\ b^{\ast }\end{array}\right]) \\ {y}_t=\left[\begin{array}{cc}0& D\end{array}\right]\left[\begin{array}{c}{s}_t^{\ast }\\ y_t^{\ast }\end{array}\right] \end{gathered}$$

令 $h_t=\left[\begin{array}{c}{s}_t^{\ast };y_t^{\ast }\end{array}\right]$ 则非线性动力系统可以由下面的全连接循环神经网络来近似．

$$\begin{array}{rl}{h}_t& =f(U{h}_{t-1}+W{x}_t+b)\\ y_t& =V{h}_t,\\ 其中：& U=\left[\begin{array}{cc}AC& 0\\ A^{\ast }C& 0\end{array}\right],W=\left[\begin{array}{c}B\\ B^{\ast }\end{array}\right],b=\left[\begin{array}{c}b\\ b^{\ast }\end{array}\right],V=\left[\begin{array}{cc}0& D\end{array}\right]\end{array}$$

应用到机器学习

循环神经网络可以应用到很多不同类型的机器学习任务．
根据这些任务的特点可以分为以下几种模式：序列到类别模式、同步的序列到序列模式、异步的序列到序列模式．

RNN – 文本处理

类比：编译原理

文本分类问题： 给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个。
文本分类应用： 常见的有垃圾邮件识别，情感分析
文本分类方向： 主要有二分类，多分类，多标签分类
文本分类方法： 传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等）

序列到类别模式

输入为序列，输出为类别．

比如在 $文本分类$ 中，输入数据为单词的序列，输出为该文本的类别．

假设一个样本 $x_{1:T}=(x_1,...,x_T)$ 为一个长度为 $T$ 的序列，输出为一个类别 y ∈ { 1 , . . . , C } y \in \{1,...,C\} y∈{1,...,C} ．我们可以将样本 $x$ 按不同时刻输入到循环神经网络中，并得到不同时刻的隐藏状态 $h_1,..,h_T$ ．我们可以将 $h_T$ 看作整个序列的最终表示（或特征），并输入给分类器 $g(.)$ 进行分类. $$\hat{y}=g(h_T)$$ 其中 $g(.)$ 可以是简单的线性分类器（比如Logistic回归）或复杂的分类器.

RNN一般取法：隐藏状态: $h_t=f(h_{t-1},x_t)$ 预测：$\hat{y}=g(h_T)$

除了将最后时刻的状态作为整个序列的表示之外，我们还可以对整个序列的所有状态进行平均，并用这个平均状态来作为整个序列的表示 $$\hat{y}=g(\frac{1}{T}\sum _{t=1}^T{h}_t)$$

此时 取隐藏状态的平均状态： $\bar{h}=\frac{1}{T}{\sum }_{t=1}^T{h}_t$

前项所占比例增加 --> 文本数据具体处理时 – 捕捉文本的上下文信息（考虑语序信息）

同步的序列到序列模式

同步的序列到序列模式主要用于 序列标注（Sequence Labeling）任务，即每一时刻都有输入和输出，输入序列和输出序列的长度相同．

在 $词性标注$（Part-of-Speech Tagging）中，每一个单词都需要标注其对应的词性标签．

在同步的序列到序列模式中，输入为一个长度为 $T$ 的序列 $x_{1:T}=(x_1,...,x_T)$ ，输出为序列 $y_{1:T}=(y_1,...,y_T)$ .样本 $x$ 按不同时刻输入到循环神经网络中，并得到不同时刻的隐状态 $h_1,...,h_T$ ．

每个时刻隐状态 $h_t$ 代表了当前时刻和历史的信息，并输入给分类器 $g(.)$ 得到当前时刻的标签 ${\hat{y}}_t$，即

$$h_t=f(h_{t-1},x_t){\hat{y}}_t=g(h_t)$$

当前词的词性与之前词存在关联

异步的序列到序列模式

异步的序列到序列模式也称为编码器-解码器（Encoder-Decoder）模型，即
输入序列和输出序列不需要有严格的对应关系，也不需要保持相同的长度

在 $机器翻译$中，输入为源语言的单词序列，输出为目标语言的单词序列．

在异步的序列到序列模式中，输入为长度为 $T$ 的序列 $x_{1:T}=(x_1,...,x_T)$ ,输出为长度为 $M$ 的序列 $y_{1:M}=(y_1,...,y_M)$ ．

异步的序列到序列模式一般通过先编码后解码的方式来实现．

先将样本 $x$ 按不同时刻输入到 一个循环神经网络（编码器） 中，并得到其编码 $h_T$．然后再使用 另一个循环神经网络（解码器） ，得到输出序列 ${\hat{y}}_{1:M}$．为了建立输出序列之间的依赖关系，在解码器中通常使用非线性的自回归模型．

令 $f_1(.)$ 和 $f_2(.)$ 分别为用作编码器和解码器的循环神经网络，则编码器-解码器模型可以写为

$$\begin{array}{rlrl}{h}_t& =f_1(h_{t-1},x_t)& & \forall t\in (1,T)\\ h_{T+t}& =f_2(h_{T+t-1},{\hat{y}}_{t-1})& & \forall t\in (1,M)\\ {\hat{y}}_t& =g(h_{T+t})& & \forall t\in (1,M)\end{array}$$

其中 $g(.)$ 为分类器，${\hat{y}}_t$ 为预测输出 ${\hat{y}}_t$ 的向量表示．在解码器通常采用自回归模型，每个时刻的输入为上一时刻的预测结果 ${\hat{y}}_{t-1}$．

其中⟨𝐸𝑂𝑆⟩表示输入序列的结束，虚线表示将上一个时刻的输出作为下一个时刻的输入．

参数学习

给定一个训练样本 $(x,y)$ ，其中 $x_{1:T}=(x_1,...,x_T)$ 为长度是 $T$ 的输入序列，$t_{1:T}=(y_1,...,y_T)$ 是长度为𝑇 的标签序列．
$$\begin{gathered} h_t=f(U{h}_{t-1}+W{x}_t+b) \\ {y}_t=Vh(t)=g(h_t) \end{gathered}$$
即在每个时刻 $t$ ，都有一个监督信息 $y_t$ ，我们定义时刻𝑡 的损失函数为 $$L_t=L(y_t,g(h_t))$$

其中 $g(h_t)$ 为第 $t$ 时刻的输出，$L$ 为可微分的损失函数.

那么整个序列的损失函数为 $$L=\sum _{t=1}^T{L}_t$$

整个序列的损失函数 $L$ 关于参数 $U$ 的梯度为 $$\frac{\partial L}{\partial U}=\sum _{t=1}^T\frac{\partial L_t}{\partial U}$$ 即每个时刻损失 $L_t$ 对参数 $U$ 的偏导数之和．

• 随时间反向传播（BPTT）算法
• 实时循环学习（RTRL）算法

随时间反向传播算法(BPTT)

链式求导法则

计算偏导数 $\frac{\partial L_t}{\partial U}$

因为参数 $U$ 和隐藏层在每个时刻 $k(1\le k\le t)$ 的净输入 $z_k=U{h}_{k-1}+W{x}_k+b$ 有关，因此第 $t$ 时刻的损失函数 $L_t$ 关于参数 U 的梯度为：

$$\begin{array}{rl}\frac{\partial L_t}{\partial U}& =？？？\\ \frac{\partial L_t}{\partial u_{ij}}& =\sum _{k=1}^t\frac{\partial z_k^{\prime }}{\partial u_{ij}}\frac{\partial L_t}{\partial z_k}\end{array}$$

其中 $\frac{\partial z_k^{\prime }}{\partial u_{ij}}$ 表示当前 $k$ 时刻的直接偏导数.
$$\frac{\partial z_k^{\prime }}{\partial u_{ij}}=[0,...,[h_{k-1}{]}_j,...,0]=I_i([h_{k-1}{]}_j)$$ 其中 $[h_{k-1}{]}_j$ 为第 $k-1$ 时刻隐状态的第 $j$ 维；$I_i(x)$
除了第 $i$ 行值为x外，其余都为0的行向量． 矩阵的偏导

定义误差项 ${\delta }_{t,k}=\frac{\partial L_t}{\partial z_k}$ 为第 $t$ 时刻的损失对第 $k$ 时刻隐藏神经网络层的净输入 $z_k$ 的导数，则当 $1\le k\le t$ 时
$$\begin{array}{rl}{\delta }_{t,k}& =\frac{\partial L_t}{\partial z_k}\\ & =\frac{\partial h_k}{\partial z_k}\frac{\partial z_{k+1}}{\partial h_k}\frac{\partial L_t}{\partial z_{k+1}}\\ & =diag(f^{\prime }(z_k))U^T{\delta }_{t,k+1}\end{array}$$

故而
$$\begin{array}{rl}\frac{\partial L_t}{\partial u_{ij}}& =\sum _{k=1}^t\frac{\partial z_k^{\prime }}{\partial u_{ij}}\frac{\partial L_t}{\partial z_k}\\ & =\sum _{k=1}^t[{\delta }_{t,k}{]}_i[h_{k-1}{]}_j\end{array}$$

参数梯度：整个序列的损失函数 $L$ 关于参数 $U$ 的梯度

$$\frac{\partial L}{\partial U}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{h}_{k-1}^T$$

实时循环学习(RTRL)

实时循环学习（Real-Time Recurrent Learning，RTRL）是通过 前向传播的方式来计算梯度

两种算法比较 RTRL算法和BPTT算法都是基于梯度下降的算法，分别通过前向模式和反向模式应用链式法则来计算梯度.

在循环神经网络中，一般网络输出维度远低于输入维度
BPTT 算法的计算量会更小，但是 BPTT 算法 需要保存所有时刻的中间梯度，空间复杂度较高．
RTRL算法 不需要梯度回传，因此非常适合用于需要在线学习或无限序列的任务中．

长程依赖问题

由于 梯度消失或爆炸问题 ，很难建模长时间间隔（Long Range）的状态之间的依赖关系

在BPTT算法中 – 第𝑡时刻的损失对第𝑘时刻隐藏神经层的净输入$z_k$
的导数 – 误差项${\delta }_{t,k}1\le k\le t$

$${\delta }_{t,k}=diag(f^{\prime }(z_k))U^T{\delta }_{t,k+1}$$

$向后展开：{\delta }_{t,k+1},{\delta }_{t,k+2},....,{\delta }_{t,t-1},{\delta }_{t,t}$

$${\delta }_{t,k}=\prod _{\tau =k}^{t-1}(diag(f^{\prime }(z_{\tau }))U^T){\delta }_{t,t}$$

定义 $\gamma \approx \Vert diag(f^{\prime }(z_{\tau }))U^T\Vert$ 则
$${\delta }_{t,k}\approx {\gamma }^{t-k}{\delta }_{t,t}$$

时间序列数据t很大时， 1. 若 $\gamma >1$ 梯度变得很大，会造成系统不稳定，称为梯度爆炸问题（Gradient Exploding Problem）． 2. 若 $\gamma <1$ 梯度变得非常小，会出现和深层前馈神经网络类似的梯度消失问题（Vanishing Gradient Problem）．

改进方案

为了避免梯度爆炸或消失问题，一种最直接的方式就是选取合适的参数，同时使用非饱和的激活函数，尽量使得 $diag(f^{\prime }(z))U^T\approx 1$ ，这种方式需要足够的人工调参经验，限制了模型的广泛应用．
比较有效的方式是通过改进模型或优化方法来缓解循环网络的梯度爆炸和梯度消失问题．

梯度爆炸：权重衰减、梯度截断

梯度消失：改变模型
$$\begin{gathered} 令U=I,\frac{\partial h_t}{\partial h_{t-1}}=I \\ 即：h_t=h_{t-1}+g(x_t;\theta ) \end{gathered}$$
$h_t$ 和 $h_{t-1}$ 之间为线性依赖关系，且权重系数为 1，这样就不存在梯度爆炸或消失问题． 但是，这种改变也丢失了神经元在反馈边上的非线性激活的性质，因此也降低了模型的表示能力．

再改

$$h_t=h_{t-1}+g(x_t,h_{t-1};\theta )$$

$h_t$ 和 $h_{t-1}$ 之间为既有线性关系，也有非线性关系，并且可以缓解梯度消失问题．但这种改进依然存在两个问题：

1. 梯度爆炸问题
   对于 $h_t=h_{t-1}+g(x_t,h_{t-1};\theta )$ ,令 $$\begin{gathered} g(x_t,h_{t-1};\theta )=g(z_k) \\ {z}_k=U{h}_{k-1}+W{x}_k+b \end{gathered}$$ 那么在计算 ${\delta }_{t,k}$ 时仍会出现梯度爆炸
2. 记忆容量问题
   随着 $h_t$ 不断累积存储新的输入信息，会发生饱和现象．假设 𝑔(⋅) 为 Logistic 函数，则随着时间 𝑡 的增长，$h_t$ 会变得越来越大，从而导致𝒉变得饱和．
   也就是说，隐状态 $h_t$ 可以存储的信息是有限的，随着记忆单元存储的内容越来越多，其丢失的信息也越来越多.

引入门控机制

基于门控的循环神经网络

增加系数来控制信息的来源比例 $\approx$ 遗忘速度or 记忆能力

门控机制： 控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息。

长短期记忆网络(Long Short-Term Memory Network，LSTM)

• 新的内部状态
  $c_t\in R^D$专门进行线性的循环信息传递，同时（非线性地）输出信息给隐藏层的外部状态 $h_t\in R^D$ ．内部状态 $c_t$ 通过下面公式计算：
  $$\begin{gathered} c_t=f_t\odot c_{t-1}+i_t\odot \widetilde{c_t} \\ {h}_t=o_t\odot tanh(c_t) \end{gathered}$$
  其中 $f_t\in [0,1{]}^D,i_t\in [0,1{]}^D,o_t\in [0,1{]}^D$ 为三个门（gate）来控制信息传递的路径; $\odot$ 为向量元素乘积；$c_{t-1}$ 为上一时刻的记忆单元；$\widetilde{c_t}\in R^D$ 是通过非线性函数得到的候选状态：
  $$\widetilde{c_t}=tanh(W_c{x}_t+U_c{h}_{t-1}+b_c)$$
  在每个时刻𝑡，LSTM网络的内部状态 $c_t$ 记录了到当前时刻为止的历史信息．
• 门控机制
  LSTM 网络引入门控机制（Gating Mechanism）来控制信息传递的路径．
  以上公式中三个“门”分别为输入门 $i_t$ 、遗忘门 $f_t$ 和输出门 $o_t$．这三个门的作用(系数okay)为
  1. 遗忘门 $f_t$ 控制上一个时刻的内部状态 $c_{t-1}$ 需要遗忘多少信息．
  2. 输入门 $i_t$ 控制当前时刻的候选状态 $\widetilde{c_t}$ 有多少信息需要保存．
  3. 输出门 $o_t$ 控制当前时刻的内部状态 $c_t$ 有多少信息需要输出给外部状态 $h_t$．

  具体实现以及后续的参数学习

LSTM网络中的“门”是一种“软”门，取值在 (0, 1)之间，表示以一定的比例允许信息通过．
三个门的计算方式为：
$$\begin{gathered} i_t=\sigma (W_i{x}_t+U_i{h}_{t-1}+b_i) \\ {f}_t=\sigma (W_f{x}_t+U_f{h}_{t-1}+b_f) \\ {o}_t=\sigma (W_o{x}_t+U_o{h}_{t-1}+b_o) \end{gathered}$$
其中 𝜎(⋅)为Logistic函数，其输出区间为 (0, 1). 参数学习： $W_{\ast },U_{\ast },b_{\ast }$

待学习参数：

• 状态：$W_c,U_c,b_c$
• 门：$W_i,W_f,W_o$ , $U_i,U_f,U_o$, $b_i,b_f,b_o$

关系：
候选状态：$\widetilde{c_t}=f(x_t,h_{t-1})$
内部状态：$c_t=gate(c_{t-1},\widetilde{c_t})$
隐藏状态：$h_t=gate(c_t)$

f:非线性函数（sigmoid） tanh函数 ； gate：含门控的函数

通过 LSTM 循环单元，整个网络可以建立较长距离的时序依赖关系
$$\begin{gathered} \left[\begin{array}{c}\widetilde{c_t}\\ o_t\\ i_t\\ f_t\end{array}\right]=\left[\begin{array}{c}tanh\\ \sigma \\ \sigma \\ \sigma \end{array}\right](W\left[\begin{array}{c}{x}_t\\ h_{t-1}\end{array}\right]+b) \\ {c}_t=f_t\odot c_{t-1}+i_t\odot \widetilde{c_t} \\ {h}_t=o_t\odot tanh(c_t) \end{gathered}$$
其中 $x_t\in R^M,参数：W\in R^{4D\times (D+M)},b\in R^{4D}$

长短期记忆：记忆保存的时间取决于门控

一般在深度网络参数学习时，参数初始化的值一般都比较小．
但是在训练 LSTM 网络时，过小的值会使得遗忘门的值比较小．

这意味着前一时刻的信息大部分都丢失了，这样网络很难捕捉到长距离的依赖信息．
并且相邻时间间隔的梯度会非常小，这会导致梯度弥散问题．

因此遗忘的参数初始值一般都设得比较大，其偏置向量 $b_f$ 设为1或2．
参数学习：W,U,b

LSTM网络的各种变体

LSTM:
$$\begin{gathered} c_t=f_t\odot c_{t-1}+i_t\odot \widetilde{c_t} \\ {h}_t=o_t\odot tanh(c_t) \\ gate: \\ {i}_t=\sigma (W_i{x}_t+U_i{h}_{t-1}+b_i) \\ {f}_t=\sigma (W_f{x}_t+U_f{h}_{t-1}+b_f) \\ {o}_t=\sigma (W_o{x}_t+U_o{h}_{t-1}+b_o) \end{gathered}$$

• 无遗忘门的LSTM： $f_t=1;对上一信息进行保存$
  $$c_t=c_{t-1}+i_t\odot \widetilde{c_t}$$
  记忆单元 𝒄 会不断增大．当输入序列的长度非常大时，记忆单元的容量会饱和，从而大大降低LSTM模型的性能．
• 耦合输入门和遗忘门 :同时用两个门比较冗余．
  为了减少LSTM网络的计算复杂度，将这两门合并为一个门．
  令 $f_t=1-i_t$ ，内部状态的更新方式为
  $$c_t=(1-i_t)c_{t-1}+i_t\widetilde{c_t}$$
• peephole 连接 ：三个门不但依赖于输入 $x_t$ 和上一时刻的隐状态 $h_{t-1}$，也依赖于上一个时刻的记忆单元 $c_{t-1}$．
  $$\begin{gathered} i_t=\sigma (W_i{x}_t+U_i{h}_{t-1}+V_i{c}_{t-1}+b_i) \\ {f}_t=\sigma (W_f{x}_t+U_f{h}_{t-1}+V_f{c}_{t-1}+b_f) \\ {o}_t=\sigma (W_o{x}_t+U_o{h}_{t-1}+V_o{c}_{t-1}+b_o) \end{gathered}$$
  其中 $V_i,V_f,V_o$ 为对角矩阵

门控循环单元网络

门控循环单元（Gated Recurrent Unit,GRU）网络
$$h_t=h_{t-1}+g(x_t,h_{t-1};\theta )$$
引入门控来控制信息更新方式,而不增加新的状态
$$h_t=z_t\odot h_{t-1}+(1-z_t)\odot g(x_t,h_{t-1};\theta )$$
其中 $z_t\in [0,1{]}^D$ 为更新门，
$$z_t=\sigma (W_z{x}_t+U_z{h}_{t-1}+b_z)$$

在GRU网络中，函数 $g(x_t,h_{t-1};\theta )$ 的定义为
$$g(x_t,h_{t-1};\theta )\triangleq \widetilde{h_t}=tanh(W_h{x}_t+U_h(r_t\odot h_{t-1})+b_h)$$
候选状态：$\widetilde{h_t}$ 门：$r_t\in [0,1{]}^D$

$$r_t=\sigma (W_r{x}_t+U_r{h}_{t-1}+b_r)$$
综上，GRU网络的状态更新方式为

$$h_t=z_t\odot h_{t-1}+(1-z_t)\odot \widetilde{h_t}$$

可以看出，当 $z_t=0,r_t=1$ 时，GRU网络退化为简单循环网络

深层循环神经网络

增加同一时刻网络输入到输出之间的路径 $x_t\to y_t$，
比如增加隐状态到输出 $h_t\to y_t$，以及输入到隐状态 $x_t\to h_t$ 之间的路径的深度．

堆叠循环神经网络

将多个循环网络堆叠起来

定义 $h_t^{(l)}$ 为在时刻 $t$ 时第 $l$ 层的隐状态

$$h_t^{(l)}=f(U^{(l)}{h}_{t-1}^{(l)}+W^{(l)}{h}_t^{(l-1)}+b^{(l)})$$
其中 $U^{(l)}、W^{(l)}、b^{(l)}$ 为权重矩阵和偏置向量， $h_t^{(0)}=x_t$

双向循环神经网络

一个时刻的输出不但和过去时刻的信息有关，也和后续时刻的信息有关．
比如给定一个句子，其中一个词的词性由它的上下文决定，即包含左右两边的信息

文本数据：词性标注

增加一个按照时间的逆序来传递信息的网络层，来增强网络的能力

双向循环神经网络（Bidirectional Recurrent Neural Network，Bi-RNN）由两层循环神经网络组成，它们的输入相同，只是信息传递的方向不同．

假设第1层按时间顺序，第2层按时间逆序，在时刻𝑡 时的隐状态定义为 $h_t^{(1)}和h_t^{(2)}$ 那么：
$$\begin{gathered} h_t^{(1)}=f(U^{(1)}{h}_{t-1}^{(1)}+W^{(1)}{x}_t+b^{(1)}) \\ {h}_t^{(2)}=f(U^{(2)}{h}_{t+1}^{(2)}+W^{(2)}{x}_t+b^{(2)}) \\ {h}_t=h_t^{(1)}\oplus h_t^{(2)}\#\#向量拼接 \end{gathered}$$

代码

---

1. 动力系统（Dynamical System）是一个数学上的概念，指 系统状态按照一定的规律随时间变化的系统．具体地讲，动力系统是使用一个函数来描述一个给定空间（如某个物理系统的状态空间）中所有点随时间的变化情况．生活中很多现象（比如钟摆晃动、台球轨迹等）都可以动力系统来描述． ↩︎

2. 通用近似原理:三层神经网络可以模拟任意的决策面 ↩︎