学Transformer前，你需要了解的Attention机制（基于注意力机制的Seq2seq可视化神经机器翻译模型）

在我们开始学习transformer之前，应该了先解下什么是attention注意力机制。
相关内容获取，欢迎关注公众号【AI技术星球】发送：222
序列到序列（Sequence-to-sequence）模型已经在机器翻译、文本摘要和图像字幕等任务中取得了很大成功。Google Translate在2016年底开始使用这种模型。这些模型的说明来自两篇开创性论文（Sutskever等人，2014年，Cho等人，2014年）。然而，理解并实现这个模型需要逐步理解一系列概念。作者认为，通过可视化的方式表达这些概念将更易于理解。本文旨在达到这一目的。阅读本文需要一定的深度学习基础知识，并且希望本文可以成为阅读上述论文（以及本文后面链接的注意力机制论文）的有用补充。序列到序列模型是一种模型，它接受一系列项目（单词、字母、图像特征等），并输出另一个项目序列。经过训练的模型可以像这样工作：

在机器翻译领域，输入一种语言，经过S2S模型，就可以得到另一种语言：

掀开黑箱

模型中由编码器和解码器两部分组成，编码器负责把输入序列编码成向量（文中叫context）再送给解码器，解码器把conte