【模型学习-LSTM】LSTM、循环神经网络

前言

文章不对LSTM的详细原理做过多讲解，仅描述其计算过程和数学表达。原理部分可以参照如下链接：

• RNN网络介绍
• LSTM理解
• LSTM原理

LSTM简要介绍

结构对比：RNN vs LSTM

是RNN循环神经网络的变体形式，对比RNN网络，可以记忆长时序信息

• RNN循环神经网络简要结构

VS

• LSTM网络简要结构

RNN网络单元之间通过单一tanh函数进行连接

LSTM网络单元之间的链接要相对复杂一点，可分为：遗忘门、更新门、输出门

LSTM结构特点

• RNN网络仅通过状态h来记录历史信息，只能记忆信息，不能遗忘信息
• LSTM通过添加状态C来记忆长时信息（更新慢），即LSTM网络里面有两类单元可以记录历史状态信息：C（长时信息，更新慢）、h（短时信息，更新快）

LSTM计算步骤

流程图节点操作介绍

从左到右分别是：网络层，节点操作（矩阵相乘，矩阵相加），矢量转移，矩阵连接，矩阵复制

遗忘门

1. $f_t$经过$sigmoid()$函数，其数值区间为0-1，可以理解为“遗忘多少历史信息” or “保留多少历史信息”

   • 当$f_t$=0，表示遗忘所有历史信息$C_{t-1}$
   • 当$f_t$=1，表示保留所有历史信息$C_{t-1}$

2. $f_t$由上一时刻的短时状态$h_{t-1}$和当下时刻的输入$x_t$决定

更新门

1. $i_t$经过$sigmoid()$函数并与${\tilde{C}}_t$矩阵相乘，决定了那些${\tilde{C}}_t$信息可以保留
2. ${\tilde{C}}_t$经过$tanh()$函数，可以理解为将信息压缩到0-1

更新状态$C_t$

输出门