本文介绍了一种名为NeRD-Rain的新型图像去雨算法，它利用多尺度Transformer和隐式神经表示来增强模型在复杂场景中的鲁棒性，超越了现有的基于Transformer的去雨方法。NeRD-Rain通过尺度内隐式神经表示和尺度间双向反馈操作，提高了去雨效果和模型性能。实验证实在合成和真实世界数据集上，该方法优于当前最先进的技术。
如何有效地探索雨痕的多尺度表示对于图像去雨是很重要的。与现有的基于Transformer的方法相比，这些方法主要依赖于单一尺度的雨痕外观，我们开发了一个端到端的多尺度Transformer，利用各种尺度中潜在有用的特征来促进高质量的图像重建。为了更好地探索空间变化的雨痕的常见退化表示，我们在像素坐标上结合了基于尺度内隐式神经表示和退化输入，采用闭环设计，使得学习到的特征有助于去除雨水并提高模型在复杂场景中的鲁棒性。为了确保来自不同尺度的更丰富的协作表示，我们在我们的多尺度Transformer中嵌入了一个简单而有效的尺度间双向反馈操作，通过进行粗到细和细到粗的信息交流。大量实验证明，我们的方法，命名为NeRD-Rain，在合成和真实世界基准数据集上表现优于最先进的方法。
代码地址：https://github.com/cschenxiang/NeRD-Rain
论文地址
订阅专栏 解锁全文
扫一扫
2400
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
