基于目标检测的毫米波雷达与视觉融合方法综述

 短期内的主要任务是数据的收集：本次主要是对前期阅读的一篇文章进行梳理，前段时间主要是进行了数据集的调研与改造规划。
文章名称：
MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey
文章地址：
https://arxiv.org/abs/2108.03004

摘要

 如今的自动驾驶需要满足应多种复杂场景，因此准确的目标检测方法对于汽车的安全驾驶具有关键意义，而毫米波雷达（以下统称为雷达）与视觉融合的方法成为主流，作者的这篇文章详述了当今毫米波雷达与相机融合的不同技术路线的融合方法。
 文章第一介绍对于当今用于自动驾驶的数据集，目标检测的评价标准以及主要任务。随后在三个层次：数据，决策，特征层次对融合方法进行了详细的描述，尤其是近些年来兴起的基于特征层面的目标检测融合方法。

任务描述

 在目标检测领域，在2D与3D空间的检测方式是不一样的，其中在2D空间中，需要对目标进行2Dbounding-box的绘制，此时对于图像的参数也较为简单，就是box所在的位置，种类信息。在3D领域，额外需要对物体的position进行描述，同时其bounding-box也变成一个长方体，所含的信息更加复杂。

评价标准

 评价标准，无非就是常用的AP、AR等等，同时PR曲线也可以很好的反映检测的性能。

数据集

fig1.数据集比较

文章总览

fig2.文章架构   其中，第一部分进行了传感器的比较，第二部分介绍传感器校准，第三部分介绍传感器融合

fig3.自动驾驶中的技术方案比较

  这是自己做的图，搜集了一些资料，对比当前多种方案的优劣性，纯视觉方案之前被马斯克所提出，但是我看到过一篇文章，当前人眼无论是从分辨率，注意力机制还有其他方面，都远胜过相机，纯视觉方案此处被pass，文章使用了安全性最高的相机＋雷达方案。

正文

传感器校准

fig4.传感器校准技术路线

 首先，数据经过多传感器的采集，经过内参、外参的校正（也就是求各自传感器的内外参），但是，此时的数据还不能够进行融合，因为相机和雷达的坐标点的对应关系还没求出，因此需要进行一部叫做联合校准的步骤，求出两个传感器的坐标转换矩阵，使得两者的坐标点可以直接对应。
 下一步，通过雷达点云滤波滤除一些杂波，然后进行误差的校正（对于决策层融合来说，会进行决策层的校正）。
 经过以上环节，所获得的数据较为可靠，可输入至下一步进行融合。

三个层次的多传感器融合方案

fig5.三个层次的融合方案  如图5，由上至下，数据的抽象化等级逐渐提高。

Data Level

fig6.数据层融合

 其基本原理是，雷达只是对目标选择起到引导作用，只是产生ROI告诉相机你要检测这块地方，主要的检测载体仍然是相机。

Decision Level

fig7.决策层融合

 这一层的融合，利用了很多统计学的模型，其中不乏通过卡尔曼滤波，对观测数据和预测建立一个联合概率模型，其对数据的抽象化达到很高的层次。

Feature level

fig.8 特征层融合

 近些年来，随着目标检测算法的更新迭代，包括以yolo为代表的锚框检测算法，无锚框检测网络为代表的CenterNet，都给特征层融合注入了极大的活力，其中，尤其是以无锚框检测算法，可以对物体在仅获得图像信息的情况下进行预测，通过雷达点云信息进行验证，最后得到一个比通常的基于锚框的融合方案更好的结果。