【论文笔记】SwinIR: Image Restoration Using Swin Transformer

声明

不定期更新自己精度论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data Fusion、Digital Twin

论文标题：SwinIR: Image Restoration Using Swin Transformer

论文链接：https://arxiv.org/abs/2108.10257v1

论文代码：https://github.com/jingyunliang/swinir

发表时间：2021年8月

创新点

1.本文提出了一种基于Swin Transformer的图像修复模型SwinIR，该模型在图像超分辨率、图像去噪和JPEG压缩伪影减少等任务上可以胜过当前的CNN-based图像修复方法； 

2.SwinIR具有内容与注意力权重交互的优点，可以进行长距离依赖建模和更好的参数性能表现；

3. SwinIR具有三个模块：浅层特征提取、深层特征提取和高质量图像重构，其中深特征提取模块包含多个residual Swin Transformer blocks，利用了局部注意力和交叉窗口互动。

Abstract

图像恢复是一个长期存在的低层次视觉问题，旨在从低质量图像（例如缩小、噪声和压缩图像）中恢复高质量图像。虽然现有的图像恢复方法基于卷积神经网络，但在高级视觉任务上表现出色的Transformer方法却很少被尝试。在本文中，作者提出了一个基于Swin Transformer的图像恢复强基线模型SwinIR。SwinIR由浅层特征提取、深层特征提取和高质量图像重建三个部分组成。特别地，深层特征提取模块由多个残差Swin Transformer块（RSTB）组成，每个块都有几个Swin Transformer层和一个残差连接。在三个代表性任务上进行了实验：图像超分辨率（包括经典、轻量级和实际图像超分辨率）、图像去噪（包括灰度和彩色图像去噪）和JPEG压缩伪影去除。实验结果表明，SwinIR在不同任务上的表现均优于现有的最先进方法，提高了0.14∼0.45dB，同时可以将参数总数减少高达67%。

Method

本文提出的图像恢复模型SwinIR主要包括三个模块：浅层特征提取、深层特征提取和高质量图像重建模块。

具体步骤如下：

1. 浅层特征提取模块：使用卷积层来提取浅层特征，并将其直接传递到重建模块中，以保留低频信息。

2. 深层特征提取模块：主要由残差Swin Transformer块（RSTB）组成，每个RSTB利用多个Swin Transformer层进行局部注意力和跨窗口交互。

3. 高质量图像重建模块：将浅层和深层特征融合在一起，通过反卷积操作来生成高质量的恢复图像。

总之，SwinIR相较于常见的基于CNN的图像修复模型，SwinIR具有诸多优势，如基于内容的交互、长程依赖模拟、更好的性能等。

Experiments

实验目标：在基准数据集上进行经典图像超分辨率的定量比较与最先进的方法。最佳和次佳性能分别以红色和蓝色显示

实验结果：SwinIR效果最优

 

实验目标：在基准数据集上进行轻量级图像超分的平均PSNR / SSIM与现有技术方法的定量比较。最佳和次佳性能分别以红色和蓝色表示

实验结果：SwinIR效果最优