TPAMI 2024 | 图像去雨Transformer

题目：Image De-Raining Transformer

图像去雨Transformer

作者：Jie Xiao; Xueyang Fu; Aiping Liu; Feng Wu; Zheng-Jun Zha

---

摘要

现有的基于深度学习的去雨方法依赖于卷积架构。然而，卷积的固有局限性，包括局部感受野和输入内容的独立性，限制了模型捕捉长距离和复杂雨迹的能力。为了克服这些限制，我们提出了一种有效且高效的基于变换器的图像去雨架构。首先，我们将视觉任务的一般先验知识，即局部性和层次性，引入网络架构，使我们的模型在无需昂贵的预训练的情况下就能实现出色的去雨性能。其次，由于雨迹的几何外观复杂且在空间上变化显著，去雨模型提取局部和非局部特征是至关重要的。因此，我们设计了互补的基于窗口的变换器和空间变换器，以增强局部性并捕捉长距离依赖性。此外，为了弥补自注意力的位置盲点，我们建立了一个单独的代表性空间来建模位置关系，并设计了一种新的相对位置增强的多头自注意力。这样，我们的模型就具有了从内容和位置捕获依赖关系的强有力能力，从而在去除雨迹的同时实现更好的图像内容恢复。实验证实，我们的方法在定量和定性上都获得了比现有方法更具吸引力的结果。

关键词

• 图像去雨
• 变换器
• 深度学习
• 注意力机制
• 雨滴去除

1 引言

雨是一种常见的天气现象，严重影响了捕获的雨景图像的视觉质量以及下游计算机视觉