恶劣天气下的车辆探测:多方关注 多模态融合方法

摘要

在自动驾驶汽车技术领域，多模式车辆检测网络(MVDNet)代表了一个重大的飞跃，特别是在具有挑战性的天气条件下。本文主要通过集成多头关注层对MVDNet进行增强，旨在改进其性能。MVDNet模型中集成的多头关注层是一个关键的改进，提高了网络更有效地处理和融合多模态传感器信息的能力。本文通过综合测试验证了MVDNet在多头关注下的改进性能，其中包括来自Oxford Radar RobotCar的训练数据集。结果清楚地表明，多头MVDNet优于其他相关的传统模型，特别是在平均精度方面(AP)的估计，在具有挑战性的环境条件下。所提出的多头MVDNet不仅对自动驾驶汽车检测领域做出了重大贡献，而且强调了复杂传感器融合技术在克服环境限制方面的潜力。
关键词:多头注意力;MVDNet;传感器融合;视觉变压器;激光雷达;雷达;美国有线电视新闻网(CNN);R-CNN;自主驾驶;目标检测;深度学习

介绍

自动驾驶汽车的出现代表了交通运输发展的一个重要里程碑，它融合了人工智能、传感器技术和机器学习，重新定义了移动性。该领域最初专注于提供基本的驾驶辅助，但现在已经迅速发展到能够自主导航复杂环境的车辆。这一领域的成就包括复杂感知系统的集成、动态决策能力和在各种环境条件下的广泛测试，推动了技术可能性的极限。随着技术的不断进步，这些技术的融合不仅旨在提高道路安全和效率，还将改变出行体验。
在自动驾驶汽车技术的先进领域，核心目标是实现全自动驾驶(Level 5)。这一目标的核心是对物体检测系统的要求[1]，这对于确保车辆周围物体的准确识别和定位至关重要，即使在雾、雨或雪等恶劣天气条件下也是如此。现代自动驾驶汽车通常采用各种复杂的传感器模式[2-4]，例如雷达、激光雷达(光探测和测距)和摄像头。这些传感器通过融合它们的互补功能，共同增强了目标检测能力。这种不同感官输入的融合在减轻固有限制方面尤为重要。虽然多模态传感器的融合是一个很有前途的进步，但大多数目标检测方法，主要是结合激光雷达和相机数据[5-7]，如图1所示，表现出对能见度的显著依赖。这种依赖充满了挑战，特别是在雾等恶劣天气条件下[8]，视觉传感器的有效性受到严重损害[9]。雷达技术正在成为自动驾驶汽车传感器套件的关键组成部分[12]，特别是其在雾天条件下导航的有效性[2,3]，在雾天条件下，许多传感器(如激光雷达和摄像头)往往无法提供预期的性能。雷达在这种情况下的优势源于它对毫米波信号的使用。与形成雾、雨和雪的细颗粒不同，这些波长明显更大[13]，使雷达信号更容易穿透或绕过这些障碍物。尽管有这样的优势，雷达数据在当前自动驾驶数据集中的整合和探索仍然有限。这种限制主要是由于雷达数据的分散性质。最近，牛津雷达机器人汽车(ORR)数据集[11]引入了一种更精细的方法，实现了旋转喇叭天线雷达系统。这种设计有助于实现360°的环境视图和0.9°的精细方位角分辨率。
MVDNet是一种多模式深度融合模型，旨在解决雾天条件下车辆检测的挑战，这是自动驾驶技术进步的一个关键方面。MVDNet的体系结构分为两个关键阶段[10]，提高了车辆检测的准确性和可靠性。该模型的第一阶段致力于从激光雷达和雷达数据中单独生成初始建议。这种独立的处理确保了每个传感器模态的独特特性得到充分利用。在MVDNet的第二阶段和更高级阶段，战略性地实施了一种融合机制。该机制旨在整合从激光雷达和雷达传感器提取的特征，通过3D卷积处理利用时间分析。该模型中的后期融合方法旨在将处理集中在关键区域，即感兴趣区域(RoI)上，从而提高了提议生成的效率和传感器数据集成的精度。
多头注意机制被纳入MVDNet，通过将注意过程划分为多个部分或“头部”来发挥作用，每个部分或“头部”专注于输入数据的不同方面。这种方法允许对不同的特征或维度进行并行分析[14]，如空间关系或信号强度，使MVDNet能够从输入数据中提取更广泛的信息或特征，而不是使用单一注意力机制，一次只关注数据的一个方面。在本文中，通过对不同数据段的关注分数的计算和比较，该机制动态确定了关注区域，保证了分析的全面细致，从而提高了MVDNet模型的算法的性能。

文献综述及相关著作

1. 汽车传感器
   随着摄像头、雷达和激光雷达等尖端传感技术的引入，汽车行业发生了重大转变，这些技术是自动驾驶和辅助驾驶系统进步的基础。摄像头通过为交通监控和车道识别等任务提供关键的视觉信息发挥着至关重要的作用，尽管它们的性能可能会在不理想的照明或不利的气象条件下受到影响。相反，雷达传感器通过使用无线电波来确定物体的距离和速度，在这些困难的条件下表现出优越的性能，从而证明了防撞和自适应巡航控制等功能的必要性。此外，LiDAR传感器利用激光技术生成车辆周围环境的复杂三维表示，这是自动驾驶框架内精确导航的关键因素，尽管成本上升和对特定气候条件的敏感性带来了挑战[15]。这些传感器的协同集成显著提高了车辆的安全性和操作能力，代表了汽车技术在实现更先进、更可靠的运输系统方面的显著进步。

2. 激光雷达
   激光雷达技术的功能是调度激光束，并确定这些光束从目标反射后返回所需的持续时间。虽然基本概念看起来很简单，但执行起来很复杂，需要高精度的定时测量和低信噪比。激光雷达系统技术多样，服务于多个行业，包括汽车、军事、机器人、监视和地形测绘，采用机载激光扫描仪。每个领域都需要激光雷达系统的特定功能;例如，汽车行业寻求具有成本效益、快速和高分辨率的扫描仪。该领域的知名制造商，如Velodyne、Ibeo和Valeo，主要采用机械光束转向、光学激光二