1、Encoder-Decoder框架
2、attention机制
- attention经典论文:《Effective Approaches to Attention-based Neural Machine Translation》作者:Luong等
- 中英翻译对照:基于注意力的神经网络机器翻译的有效方法
- attention经典论文:《Neural Machine Translation by Jointly Learning to Align and Translate》作者:Bahdanau等
- Tensorflow官方notebook:基于注意力的神经机器翻译
3、Transformer模型
- 知乎:详解Transformer (Attention Is All You Need)
- 超详细解析:Self-Attention和Transformer
- Tensorflow官方notebook:理解语言的 Transformer 模型