【CVPR2023】Efficient and Explicit Modelling of Image Hierarchies for Image Restoration

> 论文：https://readpaper.com/paper/4728855966703960065

代码：https://github.com/ofsoundof/GRL-Image-Restoration

这个论文的代码地址叫GRL，意思是 Global, Regional, Local 的意思，作者从三个尺度对特征建模，核心是构建了一个 anchored strip self-attention。

如何从Global, Regional, Local三个尺度有效对特征建模，是当前难题。作者首先观察一个现象发， 下图所示，低分辨率图像中青色点的 attention map 和高分辨率图像中红色点的 attention map 非常相似，说明图像的结构在不同尺度上被复制。

因此，作者设计了一个 anchored strip attention，在Q和K之间建立了一个隐空间 A，叫做 anchor （可能叫别的名字也可以）。首先将输入投影到维度较低的 A，然后分别和 K 和 Q 做矩阵乘法，得到 $M_d$ （替换原来的K） 和 $M_e$ （替换换原来的Q），接下来就是传统的 QKV 三件套操作了。本质来看，就是通过引入 anchor，作为一个中间体来减少了计算量。

论文还提到使用了 strip attention 的概念，但是我感觉，这个 $S^2$ 貌似取任何值都可以啊，和 strip 关联并不是特别大。也许我看的不够仔细，欢迎大家指正。

实验可以参考作者论文，这里不过多介绍。