
学Transformer前,你需要了解的Attention机制(基于注意力机制的Seq2seq可视化神经机器翻译模型)
在我们开始学习transformer之前,应该了先解下什么是attention注意力机制。序列到序列(Sequence-to-sequence)模型已经在机器翻译、文本摘要和图像字幕等任务中取得了很大成功。Google Translate在2016年底开始使用这种模型。这些模型的说明来自两篇开创性论文(Sutskever等人,2014年,Cho等人,2014年)。然而,理解并实现这个模型需要逐步理解一系列概念。作者认为,通过可视化的方式表达这些概念将更易于理解。本文旨在达到这一目的。








