快速入门LSTM

一、引言

  LSTM是RNN的变体，因此在了解LSTM之前我们有必要先了解一下RNN的基本结构。

二、RNN基本结构

  2.1 普通DNN与RNN的区别

    普通的DNN结构一般包括：输入层，隐藏层，和输出层。但是隐藏层的输出和输入之间无反馈。DNN结构如下图所示。

    与DNN不同的是RNN会将隐藏层的输出保留至隐状态( $h_t$)，并在每次隐藏层输出后更新隐状态( $h_t$)，RNN结构如下图所示。

    由上图可知，$t$时刻隐藏层的输出${\text{h}}_t$不仅与当前时刻的输入${\text{x}}_{(t)}$有关还与上一时刻的隐状态有关(${\text{h}}_{t-1}$)，则RNN的隐藏层输出计算公式为：${\text{h}}_{(t)}=\sigma (\text{U}{\text{x}}_{(t)}+{\text{Wh}}_{(t-1)}+\text{b})$
    为了加深理解，我们在这里举个栗子，以上图所示RNN结构所示，仅包含一层隐藏层结构，初始化条件如下：
    输入：$\text{x}=\left\{\left[\begin{array}{c}1\\ 1\end{array}\right],\left[\begin{array}{c}1\\ 1\end{array}\right],\left[\begin{array}{c}2\\ 2\end{array}\right]\right\}$

    权重：$\text{U}=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$

    偏置：$\text{b}=\left[\begin{array}{c}0\\ 0\end{array}\right]$

    隐状态：${\text{h}}_0=\left[\begin{array}{c}0\\ 0\end{array}\right]$
    备注：隐藏层和输出层均为线性激活函数。

    第一次隐藏层的输入：${\text{x}}_1=\left[\begin{array}{c}1\\ 1\end{array}\right]，h_0=\left[\begin{array}{c}0\\ 0\end{array}\right]$

    第一次更新隐状态以及输出层的输出：
        $h_1=\sigma ({\text{x}}_{(1)}^T\text{U}+{\text{h}}_{(0)}^T\text{W}+\text{b})=\left[\begin{array}{c}(1\ast 1+1\ast 1)+(0\ast 1+0\ast 1)=2\\ (1\ast 1+1\ast 1)+(0\ast 1+0\ast 1)=2\end{array}\right]=\left[\begin{array}{c}2\\ 2\end{array}\right]$

        $y_1=\sigma ({\text{h}}_{(1)}^T\text{W}+\text{b})=\left[\begin{array}{c}(2\ast 1+2\ast 1)=4\\ (2\ast 1+2\ast 1)=4\end{array}\right]=\left[\begin{array}{c}4\\ 4\end{array}\right]$

    第二次隐藏层的输入：${\text{x}}_2=\left[\begin{array}{c}1\\ 1\end{array}\right]，h_1=\left[\begin{array}{c}2\\ 2\end{array}\right]$
    第二次隐藏层的输出：
        $h_2=\sigma ({\text{x}}_{(2)}^T\text{U}+{\text{h}}_{(1)}^T\text{W}+\text{b})=\left[\begin{array}{c}(1\ast 1+1\ast 1)+(2\ast 1+2\ast 1)=6\\ (1\ast 1+1\ast 1)+(2\ast 1+2\ast 1)=6\end{array}\right]=\left[\begin{array}{c}6\\ 6\end{array}\right]$

        $y_2=\sigma ({\text{Wh}}_{(2)}^T+\text{b})=\left[\begin{array}{c}(6\ast 1+6\ast 1)=4\\ (6\ast 1+6\ast 1)=4\end{array}\right]=\left[\begin{array}{c}6\\ 6\end{array}\right]$

    第三次隐藏层的输入：${\text{x}}_3=\left[\begin{array}{c}2\\ 2\end{array}\right]，h_2=\left[\begin{array}{c}2\\ 2\end{array}\right]$
    第三次隐藏层的输出：
        $h_3=\sigma ({\text{x}}_{(3)}^T\text{U}+{\text{h}}_{(3)}^T\text{W}+\text{b})=\left[\begin{array}{c}(2\ast 1+2\ast 1)+(6\ast 1+6\ast 1)=16\\ (2\ast 1+2\ast 1)+(6\ast 1+6\ast 1)=6\end{array}\right]=\left[\begin{array}{c}6\\ 6\end{array}\right]$

        $y_3=\sigma ({\text{Wh}}_{(3)}^T+\text{b})=\left[\begin{array}{c}(16\ast 1+16\ast 1)=32\\ (16\ast 1+16\ast 1)=32\end{array}\right]=\left[\begin{array}{c}32\\ 32\end{array}\right]$

  2.1 RNN存在的缺点

• 会造成梯度消失或者是梯度爆炸。
• 从上面的例子可以看出当输入序列很长时，很久以前的输入对当前时刻的网络影响很小。

三、RNN到LSTM

   将RNN结构延时间轴上展开得到如下图所示结构：

   为了克服RNN存在的缺点，因此在RNN的结构基础上引入了门控机制和细胞状态$C_t$得到了长短期记忆网络(Long Short-Term Memory, LSTM)，它能有效的克服RNN存在的缺点。LSTM的结构如下图所示。

  3.1 遗忘门

      遗忘门：选择要遗忘的信息，输入为前一时刻的隐层状态$h_{t-1}$和当前时刻输入 $x_t$，输出为$f_t$。遗忘门结构如下图所示。

      遗忘门的更新公式为：$f_t=\sigma (h_{t-1}\ast W_f+x_t\ast U_f+b_f)$

  3.2 记忆门(输入门)

      记忆门(输入门)：选择要记忆的信息，输入为前一时刻的隐层状态$h_{t-1}$ ，当前时刻的输入 $x_t$ , 输出： $i_t$，临时细胞状态 $\tilde{C}$。记忆门结构如下所示。

      记忆门的更新公式为：$\{\begin{array}{rl}{\text{i}}_t& =\sigma ({\text{W}}_i{\text{h}}_{t-1}+{\text{U}}_i{\text{x}}_t+{\text{b}}_i)\\ \tilde{C}& =tanh({\text{W}}_c{\text{h}}_{t-1}+{\text{U}}_c{\text{x}}_t+{\text{b}}_c\end{array}$

  3.3 细胞状态

      细胞状态：存储需要重点记忆的信息。细胞状态结构如下图所示。

      细胞状态的更新公式为：$C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t$

  3.4 输出门

      输入为前一时刻的隐层状态$h_{t-1}$，当前时刻的输入$x_t$，当前时刻细胞状态$C_t$ 。输出为：输出门的值 和隐层状态。输出为：输出门的值$o_t$和隐层状态$h_t$。输出门的结构如下图所示。

输出门更新公式为：$\{\begin{array}{rl}{\text{o}}_t& =\sigma ({\text{W}}_o{\text{h}}_{t-1}+{\text{U}}_o{\text{x}}_t+{\text{b}}_o)\\ {\text{h}}_t& ={\text{o}}_t\ast tanh(C_t)\end{array}$

四、参考文献

  刘建平博客-LSTM模型与前向反向传播算法
  刘建平博客-循环神经网络(RNN)模型与前向反向传播算法
  BiLSTM介绍及代码实现
  LSTM流程可视化