2D-LSTM

LSTM

Understanding LSTM Networks 和 人人都能看懂的LSTM 这两篇文章介绍了 LSTM 的原理。

2D-LSTM

2D-LSTM 是作用于三维输入( $W\times H\times D$ )的 LSTM ，分别取横向和纵向上一时刻的隐藏状态和输出作为该时刻的输入，如下图所示

数据传播的顺序依靠对角线原则，如下图所示

图中的数字表示计算的顺序。
下图展示了 2D-LSTM 单元的结构，蓝线表示与标准单元不同的地方。

上图中 $x_{j,i}$ 为当前的输入，$s_{j,i-1}$ 为上一时刻横向的输出， $s_{j-1,i}$ 为上一时刻纵向的输出。
input gate
$$i_{j,i}=\sigma (W_1{x}_{j,i}+U_1{s}_{j-1,i}+V_1{s}_{j,i-1})$$
output gate
$$o_{j,i}=\sigma (W_2{x}_{j,i}+U_2{s}_{j-1,i}+V_2{s}_{j,i-1})$$
candidate value
$${\hat{c}}_{j,i}=g(W_3{x}_{j,i}+U_3{s}_{j-1,i}+V_3{s}_{j,i-1})$$
forget gate
$$f_{j,i}=\sigma (W_4{x}_{j,i}+U_4{s}_{j-1,i}+V_4{s}_{j,i-1})$$
2D-LSTM 新加入了一个系数，用于比较 $s_{j-1,i}$ 和 $s_{j,i-1}$ 的重要程度。
$${\lambda }_{j,i}=\sigma (W_5{x}_{j,i}+U_5{s}_{j-1,i}+V_5{s}_{j,i-1})$$
新状态
$$c_{j,i}=f_{j,i}\circ [{\lambda }_{j,i}\circ c_{j-1,i}+(1-{\lambda }_{j,i})\circ c_{j,i-1}]+{\hat{c}}_{j,i}\circ i_{j,i}$$
输出
$$s_{j,i}=g(c_{j,i}\circ o_{j,i})$$

Reference

[1] Bahar, P. , C. Brix , and H. Ney . “Towards Two-Dimensional Sequence to Sequence Model in Neural Machine Translation.” (2018).
[2] Voigtlaender, P. , P. Doetsch , and H. Ney . “Handwriting Recognition with Large Multidimensional Long Short-Term Memory Recurrent Neural Networks.” 2016 15th International Conference on Frontiers in Handwriting Recognition (ICFHR) IEEE, 2017.