LSTM的详细计算过程

1 LSTM总体框架

LSTM模型是由时刻的输入词$X_t$，细胞状态$C_t$ ，临时细胞状态$\widetilde{C_t}$，隐层状态$h_t$，遗忘门$f_t$，记忆门$i_t$，输出门$o_t$组成。LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态$h_t$，其中遗忘，记忆与输出由通过上个时刻的隐层状态$h_{t-1}$和当前输入$X_t$计算出来的遗忘门$f_t$，记忆门$i_t$，输出门$o_t$来控制。

图1. LSTM总体框架

2 LSTM计算过程

2-1 计算遗忘门

计算遗忘门，选择要遗忘的信息。

输入：前一时刻的隐层状态$h_{t-1}$，当前时刻的输入词 $X_t$
输出：遗忘门的值$f_t$

图2-1. 计算遗忘门

2-2 计算记忆门

计算记忆门，选择要记忆的信息。

输入：前一时刻的隐层状态$h_{t-1}$，当前时刻的输入词 $X_t$
输出：记忆门的值$i_t$，临时细胞状态$\widetilde{C_t}$

图2-2. 计算记忆门和临时细胞状态

2-3 计算当前时刻细胞状态

计算当前时刻细胞状态

输入：记忆门的值$i_t$，遗忘门的值$f_t$，临时细胞状态$\widetilde{C_t}$，上一刻细胞状态$C_{t-1}$
输出：当前时刻细胞状态$C_t$

图2-3. 计算当前时刻细胞状态

2-4 计算输出门和当前时刻隐层状态

计算输出门和当前时刻隐层状态

输入：前一时刻的隐层状态$h_{t-1}$，当前时刻的输入词 $X_t$，当前时刻细胞状态$C_t$
输出：输出门的值$o_t$，隐层状态$h_t$

图2-4. 计算输出门和当前时刻隐层状态

最终，我们可以得到与句子长度相同的隐层状态序列{$h_0$, $h_1$, …, $h_{n-1}$}。