Always Clear Days: Degradation Type andSeverity Aware All-In-One Adverse WeatherRemoval论文翻译

全天候综合恶劣天气去除是图像恢复的新兴主题，旨在通过统一模型恢复多种天气恶化，并面临两大挑战。首先，发现并处理由多种天气条件形成的目标分布中的多域属性。其次，为不同恶化设计高效有效的操作。为解决这一问题，大多数先前的工作侧重于由不同天气类型引起的多域。受到领域间和领域内适应文献的启发，我们观察到，不仅天气类型，而且天气严重程度在每种天气类型领域内引入了多域，这被先前的方法所忽略，进一步限制了它们的性能。为此，我们提出了一种 degradation 类型和严重程度感知模型，称为 UtilityIR，用于盲目全方位恶劣天气图像恢复。为从单个图像中提取天气信息，我们提出了一种新颖的边缘质量排名损失（MQRL），并利用对比损失（CL）指导天气严重程度和类型提取，并利用一系列新技术，如多头交叉注意力（MHCA）和局部-全局自适应实例归一化（LG-AdaIN），以有效地恢复空间变化的天气恶化。所提出的方法在不同天气去除任务上在主观和客观上均可超越最先进的方法，且具有更少的模型参数。提出的方法甚至可以恢复看不见的组合多重恶化图像，并调节恢复水平。实现代码和预训练权重将在 https://github.com/fordevoted/UtilityIR 提供。

1介绍

尽管在过去的十年中，基于学习的方法在计算机视觉(如图像分类和分割)方面取得了巨大的增长和成功，但许多高级视觉算法在应用于现实世界的不利环境时，性能通常会下降，例如水下、不利的光照和恶劣的天气条件。为了恢复降质图像，之前的大多数工作都针对每种不利环境设计了特定任务的模型，如水下[9,42]、低光[40]、降雨[2,24,29,34,35,45,51]、雾霾[1,10,15,19,21,44,47]和雪[6,7,30,53]。然而，针对不同场景部署多个模型在实际使用中资源效率较低。因此，一体化恶劣天气恢复[8, 25, 32, 39, 41, 55]是解决这一问题的新兴课题，旨在学习一个统一的模型来恢复被不同的恶劣天气条件退化的图像。一体化恶劣天气去除(或广义上说，一体化图像恢复)的挑战有两个方面:

1.有效和高效地集成适用于不同天气退化的不同操作。

2. 不同天气条件形成的目标分布具有多域特性，单纯地从所有退化图像年龄到干净图像的映射学习会导致在域分布中学习方差较大，导致性能不佳。在测试时准确且隐式地处理多域属性是一个具有挑战性的问题。

为了应对第一个挑战，以往的工作采用了各种有效和高效的架构技术，例如NAS[25]、ViT[39,41]、知识蒸馏[8]、可变形卷积和特征仿射[22]、FAIG[33]、天气一般和特定操作[55]和扩散模型[32]等。第二个挑战，一些前人[8,22]利用对比学习[13]来分离不同的天气类型特征并学习目标分布的多域，还采用了分类器[33]、多天气特定操作/编码器[25,55]和可学习查询[39]等技术。在一些工作中，测试时可获得天气类型标签，即非盲一体机图像复原。输入图像在推理时是未知的退化，这是盲一体化图像恢复，更具挑战性的，即输入图像在推理时是未知的退化，这是盲一体化图像恢复，本文重点关注后者。

受域间和域内自适应图像增强文献[42]的启发，从数据域的角度观察该问题，发现不仅不同天气类型之间存在多个域障碍，不同的天气严重程度也引入了域内天气类型的多域障碍，这是以往工作所忽略的，进一步限制了它们的性能。如图1所示，不仅天气类型导致退化的不同，而且不同的天气严重程度也导致不同的外观，导致域内的差距。本文提出一种退化类型和严重性感知的一体化恶劣天气去除网络，基于提出的边缘质量排序损失(Marginal quality Ranking Loss, MQRL)的图像质量排序器和一套技术，以有效和高效地恢复各种退化图像。

图1:处理各种天气退化图像的挑战说明。天气类型不仅导致退化现象的多域性和差异性，而且导致退化现象的发生
恶劣天气的严重程度还会造成视觉外观的多样性和域内缺口，而以往的一体化恶劣天气消除工作忽略了这一点。

具体地，为了提取类型和严重性信息，设计了一个退化信息编码器(DIE)，每形成两个分支的多任务特征提取。在天气类型分支上，引入对比损失(contrast Loss, CL)来缩小同一天气类型特征之间的距离，扩大不同天气类型之间的距离。对于严重程度，基于直观的观察，退化越严重的图像产生越差的图像质量评价(IQA)分数，IQA分数与所需的恢复水平呈正相关。之前的工作[42,54]证明了学习具有边际排序损失(MRL)的图像质量排序器的有效性，以有利于后续的图像恢复，受其启发，我们训练一个排序器来预测天气严重程度。然而，标准MRL仅考虑了输入图像对之间的排序信息，使得排序者容易预测错误的IQA分数区间，并导致将预测的IQA分数作为恢复等级信号时应用不恰当的恢复等级。为了更好地提取严重程度信息，进一步提出了一种基于区间感知的MRL (interval-aware MRL，简称MQRL)。获取天气信息后，通过退化信息Local-Global AdaIN (DI-LGAdaIN)和退化引导交叉注意力(DGCA)注入模型，实现类型和严重程度感知的全局-局部退化去除。所提方法在真实数据集和合成数据集[25,39]上的主客观性能均优于当前最先进的方法，并且可以在不训练这些类型数据的情况下恢复组合的多种天气退化，但与其他盲all-in-one方法相比，所提方法具有更少的参数。我们的贡献总结如下:

1.据我们所知，UtilityIR是第一种类型和严重性感知的单图像输入盲all-in-one图像恢复方法，可以调节恢复水平。
2. 针对标准MRL在退化严重程度估计场景中的不足，提出了MQRL。修改和利用了一种现成的技术，以更好地估计天气信息并恢复各种退化类型的图像。
3. 所提方法在不同天气去除任务上的主客观性能均明显优于SOTA方法，且参数较少，甚至可以恢复未见过的多幅组合天气图像。

2相关工作

针对恶劣天气的单幅图像复原为了恢复恶劣天气图像，许多基于学习的方法都是根据天气的特定特征或物理模型设计的。对于图像去噪[2,24,29,34,35,45,51]，JORDER[45]基于加性雨模型，联合学习雨条纹的检测和去除。按照雨滴图像的表述，Qian等人通过学习雨滴掩膜注意力来去除雨滴。对于图像去雾[1,10,19,21,44,47]，DehazeNet[1]学习估计传输映射。利用ZID[21]大气散射模型学习无地面真值的去雾模型。为了去除单幅图像中的积雪[6,7,