超分算法 SwinIR: Image Restoration Using Swin Transformer

这篇文章结构比较简单，如果看过Swin-Transformer的话就没什么难点了。作者引入Swin-T结构应用于低级视觉任务，包括图像超分辨率重建、图像去噪、图像压缩伪影去除。SwinIR网络由一个浅层特征提取模块、深层特征提取模块、重建模块构成。重建模块对不同的任务使用不同的结构。浅层特征提取就是一个3×3的卷积层。深层特征提取是k个RSTB块和一个卷积层加残差连接构成。每个RSTB（Res-Swin-Transformer-Block）由L个STL和一层卷积加残差连接构成。

原文链接：SwinIR: Image Restoration Using Swin Transformer
源码地址：https://github.com/JingyunLiang/SwinIR

Abstract

图像超分问题最先进的方法是基于卷积神经网络的，很少有人尝试使用Transformer。Transformer在高级视觉任务中已经表现出令人印象深刻的性能。因此作者在本文引入了Transformer，提出了一种基于Swin-T的图像恢复模型SwinIR。SwinIR由三部分组成：浅层特征提取、深层特征提取和高质量图像重建。具体而言，深度特征提取模块由几个带残差连接的Swin Transformer块（RSTB）组成，每个块都有几个Swin Transformer层和一个残差连接。在三个具有代表性的任务上进行了实验：图像超分辨率（包括经典、轻型和真实世界的图像超分辨率）、图像去噪（包括灰度和彩色图像去噪）和JPEG压缩伪影去除。实验结果表明，在不同的任务上，SwinIR的性能比最先进的方法高出0.14个百分点∼0.45dB，而参数总数最多可减少67%。

1 Introduction

基于CNN的方法通常会遇到两个基本问题，这两个问题源于其基本构造块，即卷积层。

1. 图像和卷积核之间的交互与内容无关。使用相同的卷积核来恢复不同的图像区域可能不是一个好的选择。
2. CCN只能对局部信息进行处理，卷积对于长期依赖性建模是无效的。

作为CNN的替代方案，Transformer基于一种自注意力机制，以捕捉上下文之间的全局交互。用于图像恢复的视觉变换器ViT这种通常将输入图像分割成大小固定的小块，并独立处理每个小块。这种策略不可避免地会带来两个缺点。

1. 恢复的图像可能会在每个小斑块周围引入边界伪影。
2. 每个patch的边界像素会丢失信息。

Swin Transformer结合了CNN和Transformer的优点。

1. 由于局部注意机制，它具有CNN处理大尺寸图像的优势。（相比于transformer，CNN的计算量小很多，所以可以处理大尺寸图像）
2. 又具有Transformer的优点，可以用移位窗口方案来建模长期依赖关系。

本文提出了一种基于Swin-T的图像恢复模型SwinIR。更具体地说，SwinIR由三个模块组成：浅特征提取、深特征提取和高质量图像重建模块。浅层特征提取模块使用卷积层提取浅层特征，并通过长跳跃连接将其直接传输到重构模块，以保留低频信息。深度特征提取模块主要由带有残差连接的Swin Transformer块（RSTB）组成，每个块利用多个Swin Transformer层进行局部注意力计算和跨窗口交互。每个RSTB块的末尾添加了一个卷积层以增强特征，并使用残差连接为特征聚合提供快捷方式。最后，在重建模块中融合了浅层和深层特征，实现了高质量的图像重建。

与基于CNN的图像恢复模型相比，基于Transformer的SwinIR有几个优点：

1. 图像内容和注意权重之间基于内容的交互作用，可以解释为空间变化的卷积。
2. 通过移位窗口机制可以实现长期依赖性建模。
3. 性能更好，参数更少。

2 Method

SwinIR由三个模块组成：浅特征提取、深特征提取和高质量（HQ）图像重建模块。对所有恢复任务使用相同的特征提取模块，但对不同的任务使用不同的重建模块。

2.1 OVerview

SwinIR由三个模块组成：浅层特征提取、深层特征提取和高质量（HQ）图像重建模块。对所有恢复任务使用相同的特征提取模块，但对不同的任务使用不同的重建模块。输入图像为$I_{LQ}$

浅层特征提取：
使用一个3×3卷积层$H_{SF}(\cdot )$来提取浅层特征$F_0$。卷积层在早期视觉处理方面很好，能引导网络更稳定的优化和更好的结果，更简单的将输入图像空间映射到更高维特征空间。

深层特征提取：
$H_{DF}(\cdot )$代表深度特征提取模块的算子，包含K个Swin-T块（RSTB）和一个3×3卷积层，最后用残差连接。