拿捏所有天气！AllWeather-Net：增强所有恶劣环境图像~

自动驾驶之心

于 2024-09-08 00:01:00 发布

阅读量500

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247627080&idx=2&sn=b28db1734b96ece6c260c5e38ce5b4e1&chksm=cf65080bafb9d4e64de8d86420a89d2574cfd554276b03bfd0807953fe65721a66f8296e2b45&scene=126&sessionid=0

版权

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享增强所有恶劣条件图像的方法—AllWeather-Net！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『自动驾驶』技术交流群

编辑 | 自动驾驶之心

论文题目：AllWeather-Net: Unified Image Enhancement for Autonomous Driving Under Adverse Weather and Low-Light Conditions

论文链接：https://arxiv.org/pdf/2409.02045

代码链接：https://github.com/Jumponthemoon/AllWeatherNet

作者单位：利兹大学澳大利亚国立大学 Edge Hill University 中山大学深圳校区

论文思路：

恶劣条件如雪、雨、夜间和雾，对自动驾驶感知系统构成了挑战。现有方法在提升语义分割等关键计算机视觉任务的效果上有限，且通常仅关注某一种特定条件，如去除雨滴或将夜间图像转换为白天图像。为了解决这些局限性，本文提出了一种方法来改善因这些恶劣条件而退化的视觉质量和清晰度。本文的方法，AllWeather-Net，采用了一种新颖的分层架构，以增强在所有恶劣条件下的图像。该架构通过区分每个层次的patches，在场景、物体和纹理三个语义层次上整合信息。此外，本文引入了一种 Scaled Illumination-aware Attention Mechanism (SIAM)，该机制引导学习关注对自动驾驶感知至关重要的道路元素。SIAM表现出较强的鲁棒性，不受天气条件或环境场景变化的影响。AllWeather-Net有效地将图像转换为正常天气和白天场景，展示了卓越的图像增强效果，并随后提升了语义分割的性能，在训练域中mIoU提高了最多5.3%。本文还通过将模型应用于未见过的域而无需重新训练，展示了模型的泛化能力，mIoU提高了最多3.9%。

论文设计：

自动驾驶系统在很大程度上依赖于清晰且最佳的环境图像；然而，由于自然条件如雪、雨、雾、夜间低光等的影响，这在现实生活中无法得到保证。这些条件会显著降低能见度并扭曲图像中的信息，从而影响自动驾驶感知系统的性能，包括但不限于目标检测和语义分割。

为了解决上述问题，一些方法通过去雨 [22,24]、去雾 [3,25] 和去雪 [15,21,27] 来去除天气伪影。此外，一些统一框架 [4,12,14] 处理三种类型的天气，但主要集中在去除水文颗粒，忽略了颜色和纹理细节的变化；因此，在恶劣天气条件下，这些方法对自动驾驶计算机视觉系统的有效性受到限制。

与天气伪影去除相比，像素级图像转换方法将恶劣天气情况转换为晴天图像风格。然而，这些方法主要集中于特定的单一条件，如雨天 [13] 或夜间场景 [2]。此外，模型可能会改变无关像素或区域，引入不必要的变化，导致视觉不一致，并对下游任务的性能产生负面影响。同样，低光增强旨在改善在低光条件下拍摄的图像的可见度和质量。这涉及增强昏暗图像的亮度、对比度和细节；然而，这种技术可能会错误地使已经光线充足的区域变得过亮，导致在如雪天等天气条件下出现过曝现象，如图2所示。

图2：(a) 原始图像。在恶劣条件下对图像处理技术进行语义分割评估揭示了以下方法的不足：(b) 天气效果去除 [4]，(c) 像素级转换 [29]，以及 (d) 低光增强 [16]。这些方法处理后的图像要么未能充分增强图像质量，要么引入了伪影，影响了语义预测的准确性。(e) 本文的方法 AllWeather-Net，有效地增强了颜色和纹理细节，同时保留了大部分原始图像信息，实现了最佳性能。

本文旨在通过调整图像属性和增强纹理来改善在四种不同恶劣条件下的图像质量和清晰度，并在一个统一的框架内实现。随后，本文希望提升语义分割的性能。为了实现这一目标，本文需要考虑几个关键因素：

首先，虽然统一网络具有成本效益，但天气的多变性会引入学习过程中的不稳定性。因此，找到一个稳定且不变的信号来引导网络学习，从而确保在所有条件下的一致性能是至关重要的。其次，不利条件对捕获图像的不同区域产生不同的影响。例如，在雾天场景中，由于光散射和衰减，远处的物体比近处的更加模糊。此外，恶劣天气条件往往保留图像中的大模式，同时减弱细节的清晰度。因此，既要注重整体增强，也要关注纹理细节的精细恢复。这促使本文设计一个在上下文上敏感并对纹理变化敏感的网络架构。最后，采用配对训练策略可以提高性能，但由于GPS配对不准确和环境变化，在自动驾驶场景中找到完全匹配的图像对是具有挑战性的。作为替代方案，本文考虑采用一种策略，在无法获得完全匹配的图像对时，利用大致对齐的图像进行训练，以实现更鲁棒的区分。

为了解决这些挑战，本文提出了一种新颖的架构，即AllWeatherNet。本文的贡献可以总结如下：

本文首次引入了一种统一的图像增强方法，以应对在恶劣天气和低光条件下（包括雪、雨、雾和夜间）的图像质量退化问题。
为了在各种恶劣条件下实现鲁棒的图像增强，本文引入了一种 Scaled Illumination-aware Attention Mechanism (SIAM)，该机制引导平衡的学习过程，关注不同的道路元素，而不受天气和场景变化的影响。
为了实现整体图像一致性和细节增强，本文设计了一种新颖的架构，通过在三个语义层次（场景、物体和纹理）上进行区分任务来增强输入图像。

图1：对于在恶劣条件下拍摄的图像（如图(a)所示），本文提出了一种方法，可以在一个统一的模型中有效地调整颜色和纹理、修改光照和阴影以及去除天气影响。这样可以产生视觉上更为吸引人的效果，使图像看起来像正常的白天天气条件（如图(b)所示），从而增强自动驾驶感知系统的鲁棒性能。

图3：像素级转换与图像增强过程的比较。

图4：AllWeather-Net架构概览。SIAM：Scaled Illumination-aware Attention Mechanism。借助提出的SIAM和分层区分框架，AllWeather-Net能够在所有恶劣条件下（如雾、雪、雨、夜间）增强图像。

图5：生成器中的Scaled illumination-aware attention mechanism。

图6：Attention scores by illumination：朴素注意力 vs. 比例注意力。

图7：使用SIAM生成注意力图的流程以及在图像和 patch 层面上朴素注意力与SIAM的比较。请注意，更高的注意力分数表明模型对该区域的关注度更高。这一观察表明，与朴素注意力机制相比，所提出的SIAM在关注包含道路元素的区域方面更加适应。

图8：分层区分框架的详细信息。

实验结果：

图9：与其他图像处理方法在天气效果去除、像素级转换和低光增强方面的比较，使用放大的红色区域突出视觉差异。

图10：语义分割结果与其他最先进的天气效果去除、像素级转换和低光增强方法的比较，使用放大的白色区域突出视觉差异。

图11：本文的模型在Foggy Zurich和Nighttime Driving数据集上的泛化性能。红色和绿色框对应放大的 patches 区域。

图12：在各种输入恶劣条件图像下的朴素注意力和SIAM注意力图。颜色较深的区域表示更高的注意力分数。

图13：由使用朴素注意力和比例注意力训练的模型生成的结果。

总结：

本文介绍了AllWeatherNet，这是一个旨在提升各种恶劣条件（如雪、雨、雾和夜间）下图像质量的统一框架。本文的目标是开发一个能够同时应对这四种条件而不引入降低图像质量伪影的单一模型。该模型可以在恶劣和正常天气条件下调整图像的光照、亮度和颜色，将它们转换为清晰、白天般的视觉效果。本文实施了一个分层框架来恢复颜色和纹理细节，并采用排序自适应窗口配对训练策略以提高性能。本文还开发了一个 scaled-illumination attention mechanism，以引导学习过程关注 low and high-illumination 区域，使其适应不同的恶劣场景。本文使用增强后的数据集进行语义分割实验，观察到显著的改进。此外，该模型在无需重新训练的情况下，在各种数据集上展示了出色的泛化能力。

引用：

Qian C, Rezaei M, Anwar S, et al. AllWeatherNet: Unified Image enhancement for autonomous driving under adverse weather and lowlight-conditions[J]. arXiv preprint arXiv:2409.02045, 2024.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频