![4ce178606a0d7e646ac5b1d4435e2a09.png](https://i-blog.csdnimg.cn/blog_migrate/c6ff558d703dc6227dbc1f5d3ebebd83.jpeg)
目录
REFORMER:一个高效的TRANSFORMER结构
具有文本指导的图像到图像的翻译
解决背景重校准损失下的缺失标注目标检测问题
MLFcGAN:基于多级特征融合的条件GAN水下图像颜色校正
基于跨模态自我注意网络学习的视频问题生成
REFORMER:一个高效的TRANSFORMER结构
论文名称:REFORMER: THE EFFICIENT TRANSFORMER
作者:Nikita Kitaev / Lukasz Kaiser / Anselm Levskaya
发表时间:2019/9/26
论文链接:https://openreview.net/attachment?id=rkgNKkHtvB&name=original_pdf
推荐原因
核心问题:自从BERT取得了巨大的效果的时候,transform就成为了大多数nlp任务的标配,但是它存在一些问题,比如训练速度慢,占用内容大,还有无法处理长序列,本论文就是解决这些问题。
创新点:该论文提出了一种REFORMER结构,它的核心有以下几点:首先提出了可逆层,在该层中只存储单层激活值的一份拷贝,然后它把FF层里的激活值进行切分 ,最后它使用局部敏感哈希(LSH)注意力代替传统多头注意力
研究意义