毫米波雷达和相机融合

毫米波雷达和相机融合

WACV‘2021录取的一篇文章
CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection ，
（文章链接： https://arxiv.org/abs/2011.04841）
旨在应用低成本的雷达（redar）替换主动驾驶中的激光雷达，并达到高精度3D指标检测的办法。
其中代码已在https://github.com/mrnabati/CenterFusion中开源

论文解读

• 传感器融合的研究方向大致可分为数据级融合，特征级融合和目标级融合，融合的目的是充分利用各个传感器的优势，使其能在恶劣环境中发挥作用。当前，激光雷达和相机的融合例子已有很多，而激光雷达价格昂贵，作为自动驾驶或V2X的辅助工具成本高，与激光雷达和摄像机相比，雷达在恶劣天气条件下非常稳健，能够在非常远的距离(汽车雷达可达200米)探测目标，使雷达成为自动驾驶应用中很受欢迎的传感器。

• 然而，毫米波雷达生成的点云数据少，且对静止目标的捕捉不敏感，因此相比激光雷达和相机的融合更加困难，现有的融合方式较多的是数据级融合，即对雷达和相机的数据做时空对准，这就对时间戳的统一和空间的对准有严格的要求。

• 《Center-based Radar and Camera Fusion for 3D Object Detection》论文的融合思想是：

• 1）摄像头利用CenterNet算法目标检测，得到检测目标的中心点。并回归失去指标的3D坐标、深度、旋转等信息
  2）采用Frustum Association Mechanism的方法将雷达检测到的中心点与视觉采用centernet得到的中心点进行关联。
  3）将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特色图并联，在进行3D指标深度、旋转、速度和属性的回归

核心方法是Frustum Association的视锥关联方法