带Attention机制的Seq2Seq框架梳理

借着与同事组内分享的机会，根据论文Neural Machine Translation By Jointly Learning to Align and Translate把带Attention机制的Seq2Seq框架Encoder与Decoder部分的流程图画了一下，公式梳理了一遍。

Bi-RNN Encoder

Encoder的流程如上图所示，最终的输出结果是每个时刻的hidden_state $h_1, h_2, h_3, ..., h_T$。

其中的GRU使用的双向的，正向部分的公式如下

$$\vec h_0 = 0$$
$$\vec z_i = \sigma ( \vec W_z \vec E x_i + \vec U_z \vec h_{i-1} ) \tag 1$$
$$\vec r_i = \sigma ( \vec W_r \vec E x_i + \vec U_r \vec h_{i-1} ) \tag 2$$

h⃗ i^=tanh(W⃗ E⃗ xi+U⃗ [r⃗ i∗