Transformer模型在2017年的《Attention Is All You Need》论文中提出，摒弃了RNN和CNN，仅基于注意力机制。模型分为Encoder和Decoder，每个包含多层self-attention和Feed Forward网络。Encoder通过Input Embedding、Positional Encoding、multi-head self-attention等处理输入序列，Decoder则加入masked multi-head self-attention以避免未来信息泄露。Transformer在机器翻译任务中表现出优越性能。
目录
masked multi-head self-attention
Transformer，2017年12月在《Attention Is All You Need》论文中被提出。占主导地位的序列转换模型（sequence transduction models ）是基于编码器解码器结构的循环神经网络或者卷积神经网络。Transformer完全摒弃了这些，仅仅基于注意力机制（attention mechanisms）。在两个机器翻译任务实验中表明该模型在质量上更优，同时更可并行化，需要更少的训练时间。它也是第一个未使用RNN和CNN，仅仅依赖注意力机制的模型。模型整体结构如图：
从图来看ÿ
1万+
392
7945
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
