ELAN：将超分网络SwinIR高效化，最快可达4.5倍

关注公众号，发现CV技术之美

本篇分享论文『Efficient Long-Range Attention Network for Image Super-resolution』，由香港理工大学、OPPO 提出ELAN：将超分网络SwinIR高效化，最快可达4.5倍。

• 作者单位：香港理工大学、OPPO
  

• 论文链接：https://arxiv.org/abs/2203.06697

• 项目链接：https://github.com/xindongzhang/ELAN

      01      

看点

Transformer通过利用自注意(self-attention, SA)进行特征提取，取得了令人印象深刻的结果。然而SA的计算是非常昂贵的，并且一些操作对于SR任务来说可能是冗余的。本文提出了一种高效的远程注意网络(ELAN)，它首先采用shift卷积在保持与1x1卷积相当的复杂度情况下有效的提取图像局部结构信息，然后提出了一种分组多尺度自注意(GMSA)模块，它使用不同的窗口大小在非重叠的特征组上计算SA。通过将两个shift卷积与GMSA模块级联，构建高效的远程注意块(ELAB)，并通过共享注意机制进一步加速该模块的运行，极限情况下能比SwinIR快