目录
masked multi-head self-attention
Transformer,2017年12月在《Attention Is All You Need》论文中被提出。占主导地位的序列转换模型(sequence transduction models )是基于编码器解码器结构的循环神经网络或者卷积神经网络。Transformer完全摒弃了这些,仅仅基于注意力机制(attention mechanisms)。在两个机器翻译任务实验中表明该模型在质量上更优,同时更可并行化,需要更少的训练时间。它也是第一个未使用RNN和CNN,仅仅依赖注意力机制的模型。模型整体结构如图:
从图来看ÿ