图像恢复Content-Aware Transformer for All-in-one Image Restoration

论文作者：Gang Wu,Junjun Jiang,Kui Jiang,Xianming Liu

作者单位：Harbin Institute of Technology

论文链接：http://arxiv.org/abs/2504.04869v1

项目链接：https://github.com/Aitical/DSwinIR

内容简介：

1）方向：图像恢复

2）应用：图像恢复

3）背景：尽管近年来Transformer架构在图像处理领域取得了显著进展，但仍面临一些挑战，特别是在窗口自注意力机制中存在的有限感受野问题，导致模型难以有效聚焦于图像中的关键区域。

4）方法：本文提出了一种新的图像恢复方法——DSwinIR（Deformable Sliding Window Transformer for Image Restoration）。该方法引入了可变形滑动窗口自注意力机制，可以根据图像内容自适应调整感受野，聚焦于图像的关键区域，从而提升特征提取的效果。同时，文章提出了一种中央集成模式（central ensemble pattern），有效减少了在注意力窗口中无关内容的干扰。通过结合可变形滑动窗口Transformer和中央集成模式，DSwinIR综合了卷积神经网络（CNNs）和Transformer的优点，同时克服了它们的不足。

5）结果：通过在多个图像恢复任务上的广泛实验，DSwinIR展现了卓越的性能。例如，在图像去雨任务中，DSwinIR在SPA数据集上相较于DRSformer取得了0.66 dB的PSNR提升。在全能图像恢复任务中，相比于PromptIR，DSwinIR在三任务设置和五任务设置下，分别取得了超过0.66 dB和1.04 dB的性能提升。代码：https://github.com/Aitical/DSwinIR。