Miracle Fan的博客

​ 通过归因分析attribution analysis method - Local Attribution Map (LAM)，发现目前基于Transformer的方法只能来利用有限的输入空间信息。这意味着 Transformer 的潜力在现有网络中仍未得到充分利用。为了激活更多的输入像素以获得更好的恢复，提出了一种新的混合注意Transformer(HAT)。它结合了通道注意力和基于窗口的自注意力机制，从而利用了它们的互补优势。此外，为了更好地聚合窗口之间信息，引入了一个重叠的交叉注意模块。

​ 最近，基于 Transformer 的方法在单图像超分辨率 (SISR) 中取得了令人印象深刻的结果。然而，局部性机表现不好和较高的模型复杂性限制了它们在超分辨率(SR)领域的应用。为了解决这些问题，提出了一种新的方法——高效混合Transformer（EMT）。具体来说，提出了由多个连续Transformer层组成的混合Transformer块(MTB)，其中一些像素混合器(PM)被用来取代自注意机制(SA)。PM可以通过像素移位操作增强局部信息聚合。

​ 提出一种基于二阶统计信息的通道注意力机制，产生更好的表征能力，同时，模型对non-local机制也进行了优化，针对low-level任务，直接将non-local应用在整个图会导致计算量过大，于是采用了patch进行region-level的non-local机制。​ 对于给定输入，将其特征reshape为XwithC×SwheresWHXwithC×SwheresWH,计算样本的协方差矩阵ΣXIˉXTwh。

提出了一个用于低级视觉的高效且通用的Transformer框架：改进window attention，分别从高、宽进行切块计算注意力。​ 预训练在high-level计算机视觉中产生了许多最先进的技术，但很少有人尝试研究预训练如何在low-level任务中。​ 分组卷积是指将输入和输出通道分为若干组，在每组内部进行卷积操作，这可以加速计算并在一定程度上提高模型的表征能力。是第一个对低级视觉的图像预训练进行深入研究的人，揭示了预训练如何影响模型的内部表示以及如何进行有效的预训练的见解。

本文提出了一个基于swin transformer的图像超分模型swinIR。其中SwinIR分为三部分：浅层特征提取、深层特征提取和高质量图像重建模块。