一、Vanilla Transformer的结构
首先,作者要解决的问题是字级别的LM,相比词级别的LM,字级别LM明显需要依赖的距离特别长,比如说一句话某个位置是应该使用she还是he,是依赖于前面的主语情况,这个主语可能距离此单词位置的有十几个单词,每个单词7-8字母长度,那么这就将近100+个字符长度了,作者使用transformer的结构主要原因是他认为该结构很容易做到在任意距离上的信息传递。相对而言,RNN(LSTM)这种结构,就需要按照时间一步一步的传递信息,不能做到跨越距离。
这篇文章虽然用到了transformer结构,但与Attention is all you need这篇文章(简称原Transformer)是有差异的。原Transformer整体是一个seq2seq结构,具体的细节见此处。而Vanilla Transformer只利用了原Transformer的decode的部分结构,也就是一个带有mask的attention层+一个ff层。
如果将 “一个带有mask的atten