关于Transformer一些细节的讨论

Transformer 细节的讨论

Transformer 能力已经得到普遍性的认可，尤其是其中 注意机制（attention mechanism）更是备受推崇，有非常多的博文已经对transformer进行深入的剖析, 比方说 The Illustrated Transformer。 在读了很多不同的博文之后， 我还是遇到不少的理解性的问题， 在这篇文章里，我主要是阐述我遇到的这几个问题，并且对它们的理解

问题1： Positional Encoding 的作用

Positional Encoding 顾名思义 就是对于位置的编码，为什么需要对位置进行编码， 这就是要涉及到attention 机制里面的 点乘的运算了
$$\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{softmax}(\frac{Q{K}^T}{\sqrt{d_k}})V$$
其中 $Q,K,V$ 分别是 query， key， value. 我们可以看出， $Q{K}^T$ 是无法将位置表示出来的，而我们知道在自然语言的处理中，我们要处理的就是 seq2seq的语句，换句话说就是我们需要知道他们之间的上下关系。但是attention 的强大在与它能够跟每一个词都进行关联性学习，从而获得最真实的注意部分。 为了能够让transformer 结合attention 的优点又可以考虑seq2seq的前提条件， 对于位置的编码就可以应运而生，而且文中提到的方式也非常的简单，利用 sin 和cos 的几何特性指定位置信息，然后给每个词加上 它的位置信息就可以实现目的，代码如下

class PositionalEncoding(nn.Module):
    def __init__(self, d_model, dropout, max_len=5000):
        super(PositionalEncoding, self).__init__()
        self.dropout = nn.Dropout(p=dropout)
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        pe = pe.unsqueeze(0)
        self.register_buffer('pe', pe)

    def forward(self, x)