1.简介
接着上一篇Attention机制,我们来谈一谈Transformer。Attention Is All You Need,这句话的句式是不是很熟悉。对!想起了那句著名的You Only Look Once!you only look once 说的是,你只看一次,不需要什么RPN提取特征的网络。Attention Is All You Need说的是,你只需要注意力机制,不需要什么RNN的。不需要RNN的原因是,它不利于并行的训练,因为我们都知道RNN每一个时刻会基于上一个时刻的状态。历史就是一个不断摒弃,推陈出新的过程。大神们之间的互怼,新理论把旧理论拍死在沙滩上,又被更新的理论拍死在沙滩上,为我们带来了如今的繁荣与昌盛。摒弃了RNN之后的Transformer应该怎么演呢?让我们来一步步揭开它的庐山真面目。
2.小故事
在一个月黑风高的夜晚,有两队起义者决定离开RNN的阵营自谋出路。其中一队的领袖叫encoder,另一队的领袖叫decoder。他们从阵营中偷走Attention秘籍,各自复印了一份揣在兜里。为了分散追击者的注意力,他们分两条路前进,向着一probabilities的村庄前进。
encoder这一队从西边的小路前进,为了方便人员管理,他们给每个人进行编号,在队伍里面编号就代表这个人。同时为了防止大家走散,给每个人在队伍中固定了位置。后来他们决定兵分三队前进,每一队又分为