深度学习用于机器翻译的论文及代码集锦

[1] Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

Kyunghyun Cho et al.

Universite de Montr ´ eal ´

EMNLP 2014

https://www.aclweb.org/anthology/D14-1179

这篇文章提出由两个RNN构成的RNN Encoder-Decoder网络。其中一个RNN将符号序列编码成固定长度的向量表示，另一个RNN将向量表示解码成另一个序列。编码解码联合训练来最大化给定序列得到目标序列的条件概率。

RNN Encoder-Decoder结构示例如下

本文所提出的激活函数示例如下

各模型结果对比如下

代码地址

https://github.com/pytorch/tutorials/blob/master/intermediate_source/seq2seq_translation_tutorial.py

---

             我是分割线

---

[2] Sequence to Sequence Learning with Neural Networks

Ilya Sutskever et al.

Google

NIPS 2014

https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

这篇文章给出一种端到端的序列学习的方法。该方法利用多层LSTM将输入序列映射到固定维度的向量，然后利用深层的LSTM将向量解码到目标序列。

流程示例如下

各模型效果对比如下