Attention Is All You Need

1.简介

            接着上一篇Attention机制，我们来谈一谈Transformer。Attention Is All You Need，这句话的句式是不是很熟悉。对！想起了那句著名的You Only Look Once！you only look once 说的是，你只看一次，不需要什么RPN提取特征的网络。Attention Is All You Need说的是，你只需要注意力机制，不需要什么RNN的。不需要RNN的原因是，它不利于并行的训练，因为我们都知道RNN每一个时刻会基于上一个时刻的状态。历史就是一个不断摒弃，推陈出新的过程。大神们之间的互怼，新理论把旧理论拍死在沙滩上，又被更新的理论拍死在沙滩上，为我们带来了如今的繁荣与昌盛。摒弃了RNN之后的Transformer应该怎么演呢？让我们来一步步揭开它的庐山真面目。

2.小故事

             在一个月黑风高的夜晚，有两队起义者决定离开RNN的阵营自谋出路。其中一队的领袖叫encoder,另一队的领袖叫decoder。他们从阵营中偷走Attention秘籍，各自复印了一份揣在兜里。为了分散追击者的注意力，他们分两条路前进，向着一probabilities的村庄前进。
              encoder这一队从西边的小路前进，为了方便人员管理，他们给每个人进行编号，在队伍里面编号就代表这个人。同时为了防止大家走散，给每个人在队伍中固定了位置。后来他们决定兵分三队前进，每一队又分为