迈向全场景感知！极端天气下的自动驾驶如何有效解决？

>>直播和内容获取转到→自动驾驶之心知识星球

雪、雨、夜间和雾等不利条件对自动驾驶感知系统构成了挑战。现有的方法在改进基本的计算机视觉任务（如语义分割）方面效果有限，并且通常只关注一个特定条件，如除雨或将夜间图像转换为白天图像。为了解决这些局限性，利兹大学提出了AllWeather-Net来提高因这种不利条件而降低的视觉质量和清晰度。AllWeather-Net利用了一种新颖的分层架构来增强所有不利条件下的图像。该架构通过在每个级别区分补丁，在三个语义级别上整合信息：场景、目标和纹理。此外AllWeather-Net引入了一种缩放照明感知注意力机制（SIAM），该机制引导学习对自动驾驶感知至关重要的道路元素。SIAM表现出鲁棒性，不受天气条件或环境场景变化的影响。AllWeather Net有效地将图像转换为正常天气和白天场景，展示了卓越的图像增强结果，从而提高了语义分割的性能，训练域中的mIoU提高了5.3%。我们还通过将模型应用于未知领域而无需重新训练来展示其泛化能力，实现了高达3.9%mIoU的改进。

• 论文链接：https://arxiv.org/abs/2409.02045

• 开源链接：https://github.com/Jumponthemoon/AllWeatherNet

今天自动驾驶之心很荣幸邀请到利兹大学在读博士—钱程浩为大家分享极端天气下的自动驾驶挑战与解决方案。锁定自动驾驶之心直播间，今晚七点半不见不散~

国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

【自动驾驶之心】技术交流群

自动驾驶之心是国内领先的技术交流平台，关注自动驾驶前沿技术与行业、职场成长等。我们成立了一系列的技术交流群，涉及：语义分割、车道线检测、2D/3D目标跟踪、2D/3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、在线地图、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、Gaussian Splatting、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等多个方向！

备注：学校/公司+方向+昵称（快速入群方式）

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取