【机器翻译】| Encoder-Decoder

out为每个时序单元的输出，形状为(seq_len, batch_size, num_hiddens)，

state包含最后一个时间步的隐藏状态和记忆细胞，形状为(num_layers, batch_size, num_hiddens)

Encoder需要的是state（作为语义编码），Decoder需要的是output（生成每个时间步的单词）

 

需要一个Dense层，把 H_t 映射到单词表中，在全连接层中选出最高得分的作为输出。

 

值得注意的是：

 

训练时target作为下一个单元的输入单词;

预测时decoder每个单元输出得到的单词作为下一个单元的输入单词。

 

缺点

在编码器—解码器（seq2seq）模型中，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问题，尤其是RNN机制实际中存在长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化为定长的向量而保存所有的有效信息，所以随着所需翻译句子的长度的增加，这种结构的效果会显著下降。