【camera-radar】自动驾驶相机-毫米波雷达融合方案综述

踟蹰横渡口,彳亍上滩舟。

已于 2022-02-26 14:13:42 修改

阅读量3.1k

点赞数 5

分类专栏：自动驾驶感知--多传感器融合：相机、激光雷达、毫米波、超声波文章标签：自动驾驶计算机视觉人工智能

于 2022-02-26 14:11:39 首次发布

本文链接：https://blog.csdn.net/cuihao1995/article/details/123148889

版权

自动驾驶感知--多传感器融合：相机、激光雷达、毫米波、超声波专栏收录该内容

30 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文详细介绍了自动驾驶中相机与毫米波雷达融合方案，包括任务描述、传感器配置、评价标准、数据集和优缺点。重点阐述了特征层、数据层和决策层的融合方法，探讨了传感器标定和未来发展趋势。融合方法如特征+决策融合，通过将雷达数据生成的提案在图像上验证，以及使用神经网络进行决策层匹配。特征层融合则涉及将点云数据映射到图像并进行融合学习。未来研究趋势关注底层雷达数据融合、坐标统一、数据同质和时序对齐问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

如今的自动驾驶需要满足应多种复杂场景，因此准确的目标检测方法对于汽车的安全驾驶具有关键意义，而毫米波雷达（以下统称为雷达）与视觉融合的方法成为主流，作者的这篇文章详述了当今毫米波雷达与相机融合的不同技术路线的融合方法。
文章第一介绍对于当今用于自动驾驶的数据集，目标检测的评价标准以及主要任务。随后在三个层次：数据，决策，特征层次对融合方法进行了详细的描述，尤其是近些年来兴起的基于特征层面的目标检测融合方法。
自动驾驶的应用中通常会包括多种传感器，以提高系统的可靠性。从目前来看，常用的传感器包括摄像头，激光雷达和毫米波雷达。这些传感器各有优缺点，也互为补充，因此如何高效的融合多传感器数据，也就自然的成为了感知算法研究的热点之一。
毫米波雷达感知算法的研究起步较晚，公开的数据库也不多，因此目前多传感器融合的研究主要集中在融合摄像头（图像）和激光雷达（点云）的数据。随着毫米波雷达在自动驾驶车辆中越来越多的应用，它的数据如何与图像进行融合，也成为了一个亟需解决的问题。
毫米波雷达的数据一般以Point Cloud（点云）的形式呈现。理论上说这与激光雷达的点云类似，只