2024.3.24 机器学习周报-CSDN博客

This week, I reproduced the code of the paper and reviewed a literature on self attention mechanisms for Transformers. Transformers are based solely on a separate attention mechanism, linking different positions of a sequence to calculate its representation. They have been successfully applied to many tasks, including reading comprehension, abstract abstracts, discourse implications, and sentence representations unrelated to learning tasks.

一、文献阅读

1、题目

Attention Is All You Need

2、引言

显性序列转导模型是基于复杂的递归或包括编码器和解码器的卷积神经网络。最好的执行模型还通过注意力连接编码器和解码器机械装置我们提出了一种新的简单网络架构Transformer，仅基于注意力机制，省去了重复和卷积完全在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更可并行，并且需要显著更少的训练时间。我们的模型在WMT 2014英德语翻译任务中实现了28.4 BLEU，比现有的最佳结果有所改进，包括合奏，超过2 BLEU。在WMT 2014英法翻译任务中，我们的模型在在8个GPU上进行3.5天的培训，这只是最好的模型从文献。我们证明了Transformer很好地推广到其他任务，通过将其成功应用于英语选区解析大量且有限的训练数据。

3、创新点

通过self-attention，自己和自己做attention，使得每个词都有全局的语义信息
由于self-attention是每个词和所有词都要计算Attention，所以不管他们中间有多长距离，最大的路径长度也都是1，可以捕获长距离依赖关系
提出multi-head attention，可以看成attention的ensemble版本，不同head学习不同的子空间语义

4、模型架构

模型总体架构如下图所示，整个网络架构中使用堆叠的self-attention层、point-wise和全连接层，分别用于encoder和decoder。

4.1 Encoder and Decoder Stacks

编码器 encoder：

将一个长为n的输入（如句子），序列(x1, x2, … xn)映射为