图像修复+天气退化DA2Diff: Exploring Degradation-aware Adaptive Diffusion Priors for All-in-One Weather Resto

论文作者：Jiamei Xiong,Xuefeng Yan,Yongzhen Wang,Wei Zhao,Xiao-Ping Zhang,Mingqiang Wei

作者单位：Nanjing University of Aeronautics and Astronautics;Anhui University of Technology;Tsinghua University, Shenzhen

论文链接：http://arxiv.org/abs/2504.05135v1

内容简介：

1）方向：图像修复

2）应用：图像修复

3）背景：近年来，所有一体化框架（all-in-one frameworks）在处理多种天气退化问题方面展现出潜力，但不同天气条件下退化模式的多样性以及现实世界退化的复杂性仍然是一个显著挑战。

4）方法：为了应对这些挑战，提出一个创新的扩散范式，称为DA2Diff，采用退化感知自适应先验进行多天气修复。该方法首次将CLIP应用于感知退化感知特性，以便更好地进行多天气修复。具体而言，研究通过一组可学习的提示（prompts）捕捉退化感知特征，并通过在CLIP空间中的提示-图像相似性约束来实现。每个提示对应不同的天气退化特征，如雪、雾、雨等，这些提示在扩散模型中被整合，并通过设计的天气特定提示引导模块，使得模型能够修复多种天气类型。此外，为了进一步提高对复杂天气退化的适应性，提出了一个动态专家选择调节器，利用动态天气感知路由器灵活地为每张退化图像分配不同数量的修复专家，从而使扩散模型能够自适应地恢复不同的退化情况。

5）结果：实验结果通过定量和定性评估验证了DA2Diff在性能上的优越性，超过了现有的最先进方法。