夜晚也清晰可见！ContextualFusion技术突破传统传感器限制，3D对象检测性能显著提升

DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！

ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions

引言：自动驾驶车辆在恶劣环境中的挑战

自动驾驶车辆（AV）设计目的是在几乎不需要人类干预的情况下，在真实世界的场景中自行驾驶。这些车辆通常配备有多种传感器，包括摄像头、激光雷达、雷达、超声波传感器、GPS和IMU。由于自动驾驶技术有望使交通更安全，因此这一领域的研究非常受欢迎。例如Waymo和GM Cruise等公司已经开始在限定区域部署自动驾驶出租车队，主要是在天气良好的条件下。然而，自动驾驶系统要实现这一目标，必须可靠地感知其运行环境。全自动AV必须能够在水平视场360度范围内、垂直视场±15-20度范围内看到，没有任何盲点。

在本文中，我们专注于在恶劣条件下融合摄像头图像和激光雷达点云。摄像头提供丰富的像素级信息，但可能会被直射阳光照射而失效，并且在夜间和低光照条件下性能显著下降。激光雷达作为主动传感器提供3D信息，在白天和夜间条件下均能良好工作。然而，激光雷达的光束也可能被大雨和雾散射，导致物体检测出现误报。最近的研究表明，使用多模态深度学习模型融合传感器数据通常能有效提高感知性能。

论文标题、机构、论文链接和项目地址

论文标题: ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions

机构: Shounak Sural1, Nishad Sahu1 and Ragunathan (Raj) Rajkumar1

论文链接: