transformer论文_Transformer相关论文阅读笔记

最近在使用Transformer模型跑任务，正好加入了同学组织的一个暑期文献打卡群，于是决定假期每天读一篇文献，主要关于近两年对于Transformer模型应用的论文。阅读论文的笔记分享给大家～

7月18日

R-transformer : Recurrent neural network enhanced transformer

R-Transformer: Recurrent Neural Network Enhanced Transformer​arxiv.org

主要综合了RNN和Transformer两种模型的优点，提出了R-transformer

Transformer虽然在很多模型上表现出了很好的效果，但目前有两个比较致命的问题：

• 第一是对于位置的编码，虽然transformer引入了Position embedding，但是其效果并不好。并且对于具体的任务还需要设计具体的位置编码方式；
• 第二是多头注意力机制忽略了很多局部的特征

而RNN主要的问题是难以处理长距离依赖关系和难以实现并行

改进方法是：

将transformer的position embedding替换成局部的RNN，文章中称其为LocalRNN。具体来讲就是对一个序列，在每个位置的一个固定大小窗口范围内跑一个LocalRNN，将其局部的特征也表示到向量中，然后再按照transformer那样进行全局的多头attention和FeedForword