transformer论文解读

论文动机：

        使用Transformer模型实现更好且更易并行化，训练时间更少的机器翻译任务。

创新点

        1.不使用卷积和循环，完全基于注意力机制的序列转换模型，用多头自注意力替代了编码器-解码器架构中常用的循环层。Transformer模型使用堆叠的自注意力和逐点全连接层作为编码器和解码器

        2.使用Transformer模型能够相比ConbS2S和ByteNet减少一定数量的操作

        3.通过Multi-Head Attention可以抵消有效分辨率降低的影响

        4.通过屏蔽所对应于非法连接的softmax输入值来阻止解码器左向信息流以保持自回归属性

方法

        1.运用Scaled Dot-Product Attention机制

        2.运用softmax函数获取权重、

        3.通过√1/dk来缩放点积

        4.使用训练完的嵌入将输入令牌和输出令牌转换为维度为dmodel的向量，使用训练完的线性转化和softmax函数将解码器输出转化为预测的下一个令牌概率，在两个嵌入层和预softmax线形变换之间共享相同的权重矩阵，在嵌入层中奖权重乘以√dmodel

        5.公式有：①Attention(Q, K, V) = softmax(QK^T / √dk) V。

                        ②MultiHead(Q, K, V) = Concat(head1, ..., headh)WO 其中headi = Attention(QWQi, KWKi, VWVi)，投影是参数矩阵WQi ∈ Rdmodel×dk，WKi ∈ Rdmodel×dk，WVi ∈ Rdmodel×dv 和WO ∈ Rhdv×dmodel。

                        ③ PE（pos，2i）= sin（pos/100002i/dmodel） PE（pos，2i+1）= cos（pos/100002i/dmodel） 其中pos是位置，i是维度

                        ④lrate = d^-0.5_model · min(step_num^-0.5, step_num · warmup_steps^-1.5)

自己想法

        1.self-attention被限制为仅考虑围绕各自输出位置中心大小为r的领域来增加最大路径长度到O（n/r）