集智书童 | 深度学习与先验方法在遥感与无人机影像去雾中的应用与挑战！

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：深度学习与先验方法在遥感与无人机影像去雾中的应用与挑战！

论文链接：[2405.07520] Dehazing Remote Sensing and UAV Imagery: A Review of Deep Learning, Prior-based, and Hybrid Approaches (arxiv.org) 

在遥感与无人机应用中，高质量的图像至关重要，但大气雾霾会严重降低图像质量，使得图像去雾成为一个关键的研究领域。自从深度卷积神经网络被引入以来，已经提出了许多方法，随着视觉 Transformer 以及对比/少样本学习的发展，更多的方法也应运而生。

同时，也有关于适用于各种遥感领域（RS）的去雾架构的论文发表。这篇综述超越了传统的对基准雾天数据集的关注，作者还探讨了将去雾技术应用于遥感与无人机数据集的情况，全面概述了这些领域中的深度学习与基于先验的方法。

作者确定了关键挑战，包括缺乏大规模的遥感数据集以及需要更稳健的评价指标，并概述了潜在的解决方案和未来的研究方向以应对这些挑战。

据作者所知，这是首次提供对基于基准和遥感数据集（包括基于无人机的影像）的现有及最近（截至2024年）的去雾方法的全面讨论。

介绍

雾霾条件，由诸如雨雪等自然现象以及城市和森林火灾等人造灾害引起，可以严重降低摄影、监控和遥感等应用中的图像质量。这种退化导致对比度降低和色彩偏移，最终阻碍计算机视觉（CV）模型的性能，导致目标检测、图像分类和图像分割结果不佳。

因此，致力于从雾霾照片中提取清晰、高质量场景的研究数量在过去几十年里呈指数级增长。这一图像处理领域被称为_图像去雾_。

在深度学习在CV和图像处理中广泛应用之前，图像去雾技术大多依赖于基于先验的方法，在这些方法中，对给定的雾霾图像应用了各种假设，以统计方式提取和计算其去雾参数。

这些方法通常在特定雾霾场景和背景下提供良好的去雾输出和性能，但不一定适用于其他雾霾场景和背景。

利用深度学习，去雾参数通常可以端到端计算，并且在各种雾霾场景中的性能指标通常高于基于先验的方法。通常采用大气散射模型（ASM）([1], [2])，该模型假设空气光和直接衰减主要是雾霾图像的贡献。

这种模型通常在许多去雾研究中被最普遍假设，可用于建模和生成雾霾。

早期的基于深度学习的去雾通常采用卷积神经网络（CNNs），而仅在最近几十年，才开始探索和利用视觉 Transformer （ViTs）。由于ViTs相对于CNNs的局部诱导偏差较低（因为处理的是图像块而不是像素），前者需要相对大量的训练数据以达到有竞争力的性能指标。

例如，在大型预训练数据集如JFT-300M [3]上训练典型的ViT，可以在分类任务中超越CNNs。第一个研究ViT去雾的DehazeFormer [4]，通过在相对较大的雾霾数据集（例如，来自RESIDE [5]和RS-HAZE [4]的SOTS-indoor/SOTS-outdoor/SOTS-mix）上训练，获得了最先进（SOTA）性能。

此外，ViTs通常比CNNs计算需求更高，架构也更复杂，因此在没有进一步修改的情况下，可能不适用于移动和边缘设备，如无人机或自动驾驶汽车。

与此同时，利用对比学习以及零样本和单样本学习进行去雾的方法也在出现，尽管这些方法更常用于图像分类、分割和目标检测。这些方法不需要像CNN和ViT方法那样进行大规模的雾霾-清晰图像对训练，也避免了合成雾霾图像与真实生活雾霾图像信息量不足和一致性差的问题[6]，这可能导致域偏移。

与大多数CNN和ViT方法不同，对比、零样本和单样本学习方法利用无监督学习，零样本学习不需要 GT （清晰）图像，只需要给定的单个雾霾图像[7]。这些方法可以在不同雾霾强度场景下实现更好的泛化，这可能对视频任务（例如，监控森林火灾、活跃火山、雨雪）是真实的。

作者意识到已经有关于去雾的回顾性论文，既有新近的也有较早的。例如，Goyal等人[8]在作者撰写本文时提供了关于各种去雾方法的最新回顾，这些方法应用于众多基准数据集。然而，讨论的数据集并未包括在远程感知和无人机、自动驾驶车辆等空中移动平台背景下的大雾图像。

对于前者，分析雾天图像对于评估自然灾害（如森林火灾）造成的损害程度至关重要，同时也需要识别热点以协助消防工作。后者可能有助于在中小雨雪情境下（可能同时出现雾）进行自主操作。Agrawal和Jalal[9]包括了各种去雾方法的数值结果，并根据是否残留雾天伪影、是否应用于浓雾场景以及是否过度增强等方面评估了各技术的性能，同时评估了每种技术推理的速度。

Gui等人[10]提供了基于深度学习的去雾综合调查和分类。后者还涵盖了对比学习和少量样本去雾工作的回顾，并讨论了去雾领域仍存在的某些挑战和开放性问题，例如去雾对图像分类和分割等高级视觉任务的影响。

然而，与Agrawal和Jalal以及Goyal等人的评论类似，这些评论仅涵盖了技术在基准数据集上的表现，并未涵盖远程感知和移动平台图像的表现。

此外，与Agrawal和Jalal的工作不同，该工作没有为各种方法在基准数据集上的定量去雾指标制作表格，这会使观察所提方法的趋势更加容易，并看出哪种方法在目前给出了最佳的除雾性能。

最后，作者注意到Liu等人[11]关于基于远程感知的去雾回顾性论文；然而，据作者所知，这是唯一一份此类论文。

与其他回顾性工作相比，作者的去雾回顾性论文的独特之处在于，作者不仅涵盖了基于深度学习和先验知识的去雾方法，这些方法不仅在基准数据集上进行评估，也应用于远程感知和无人机。与Gui等人的工作类似，作者强调了上述领域仍然存在的某些开放挑战，并就如何解决这些问题进行了广泛讨论。此外，作者的回顾还讨论了最近提出的基于先验的方法（截至2023年），这并不是许多回顾性论文的关注点。

作者认为，尽管普遍认为基于深度学习的方法更为优越，但强调最新的基于先验的方法同样重要，因为这些工作也展示了具有竞争力且前景看好的成果。这类工作的存在也表明，基于先验的去雾范式研究并未完全消失。总之，作者的回顾性论文的贡献如下。

1. 据作者所知，作者的综述是少数几个涵盖在较近时期（2020年后）提出的大气去雾先验的研究，并且更为详细。如前所述，这不仅仅是为了说明基于先验的大气去雾研究尽管流行观点如此，但仍然活跃，而且还为了展示这些方法可以在相应的数据集上超越基于学习的方法，而无需事先需要大量的图像进行训练。这有助于降低计算需求，并补充了遥感应用中的去雾技术。

2. 作者提供了截至作者撰写时的大气去雾最新综述工作，扩展并涵盖了2024年发表的所有不同类型的大气去雾方法，应用于不同的基准测试和选定应用。

3. 作者还涵盖了超出常见基准去雾数据集的工作，包括那些在遥感和国防无人机图像中使用的方法。特别是对于前者，作者探讨了在超光谱、极高分辨率（VHR）和合成孔径雷达（SAR）图像上应用的去雾技术。据作者所知，作者的工作是首次在回顾去雾文献时强调这三个关键领