Activating More Pixels in Image Super-Resolution Transformer

• cvpr2023
• https://github.com/XPixelGroup/HAT?tab=readme-ov-file
• 问题引入：
  – 现在的transformer based的SR模型“感受野”不够；
  – 分析：原本认为transformer-based的方法优于CNN-based的方法是因为可以利用更加long-range的信息，但是作者通过LAM分析得到SwinIR方法并没有使用更多的long-range信息，其表现更好的原因是因为能够更好的建模局部信息，所以需要扩展“感受野”；此外还发现中间特征具有块效应，这说明shift window mechanism不能很好的实现cross-window information interaction;
• 本文方法：
  – 对应“感受野”问题：Hybrid Attention Transformer (HAT): 综合使用channel attention & window-based self attention；
  – 对应跨窗口信息交互，块效应问题：overlapping cross-attention module: 加强相邻window feature之间的交互；
  – 预训练：同任务预训练策略，使用大规模数据集对同一任务进行预训练；
  
• 网络结构
  – shallow feature extraction + deep feature extraction + image reconstruction
  – ${\mathcal{I}}_{LR}\in {\mathcal{R}}^{H\times W\times C_{in}}\underset{shallowfeatureextraction}{\overset{conv\times 1}{\to }}{F}_0\in {\mathcal{R}}^{H\times W\times C}\underset{deepfeatureextraction}{\overset{residualhybridattentiongroups(RHAG)\times n+conv\times 1}{\to }}{F}_D\in {\mathcal{R}}^{H\times W\times C}+F_0\underset{reconstructionmodule}{\to }{\mathcal{I}}_{HR}$
  – reconstruction module的pixel shuffle是用来上采样用的；
  – RHAG由HAB和OCAB组成
  – HAB：
  $$\begin{gathered} X_N=LN(X) \\ {X}_M=(S)W-MSA(X_N)+\alpha CAB(X_N)+X \\ Y=MLP(LN(X_M))+X_M \end{gathered}$$
  – W_MSA:window-based multihead self attention: 首先将输入分为$M\times M$个window，之后每个window中进行self attention，还每隔一段时间使用shift window partition approach；
  – CAB是首先一个卷积，将通道数降为原来的$\frac{1}{\beta }$，再一个conv恢复到原来的通道数，之后是一个channel attention模块；
  – Overlapping Cross-Attention Block (OCAB)
  
• 实验：
  – 预训练：ImageNet
  – training: DIV2K+Flicker2K