Transformer-XL论文阅读笔记

 

论文链接：1901.02860.pdf (arxiv.org)

打比赛的时候，本文长度超过512，可能会用到。

主要是解决两个问题吧：

其一就是如果强行把长文本分成不同的segment，那这些segment之间没有信息流动。

其二就是如果按512的长度去做trunction，那么有可能某些词会被从中间截断。

主要的思路就是：前面segment计算出的hidden state，将会当作memory，然后输入后面的segment进行计算，这样就可以让信息传得比较远，就可以处理长文本了。

这篇文章还有一个创新点就是，因为原来的BERT处理的最长文本是512，所以实际上只需要学习512个absolute positional encodings就行了，但是现在Transformer-XL能够处理的文本是特别长的，在inference可能有见到比train时还长的文本，所以使用absolute的位置编码就不合适了。因此这篇文章使用了相对位置编码，也就是relative positional encodings。

注意：正向传播的时候如上图所示，反向更新梯度时，梯度不回传到前面的segment。

绝对位置编码和相对位置编码公式：

改变的点：

•  所有出现Uj的地方，都用R(i-j)代替。通俗点说，我（query）不需要知道你（key）的绝对位置，我只需要知道你离我多远。
• c和d两项，对于query，其实并不在意它所处的位置，理论上，如果他的context是相同的，那么计算的结果也应该是一样的。所以，query的位置编码设为了一个constant的matrix，即c和d中的u和v。
• 原来的attention公式中，只有一个Wk，现在分成了Wk，E和Wk，R，这样能够更加精确地计算出content-based embedding和location-based embedding。

最后附上一个完整地公式。