毫米波雷达与单目相机融合策略（决策级融合策略）

从目前市场上无人驾驶的解决方案就能看出来，多传感器融合是必然趋势，其对自动驾驶汽车的重要性就不用我多说了。由于我研究生阶段研究的是毫米波雷达与摄像头的融合进行障碍物检测，所以就对一些学习笔记做个备忘，方便自己查阅。

传感器融合按不同策略主要分为：
（1）基于图像数据级融合（基于摄像头为主传感器对毫米波雷达进行滤波）
（2）基于目标特征级融合（以毫米波雷达为主传感器对摄像头和雷达的目标输出做融合）
（3）基于决策级融合（采用VS算法对比做决策）。

目前我所采用的融合策略是决策级融合。

（1）特征级融合的特点，主要是雷达辅助图像。

基本的思路是将雷达的点目标投影到图像上，围绕该点我们生成一个矩阵的感兴趣区域，然后我们只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。它的优点是可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。而且，可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。

缺点：
1）首先，这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。

2）另一方面是这种方法本质上只是对雷达目标的一种验证，无法充分发挥视觉的作用。雷达和摄像头的视野其实并不完全重合，存在部分目标没有被两个传感器同时检测到。

（2）决策级融合的特点：

JPDA：概率数据关联算法，基于多个传感器的数据进行关联。

相比原来的算法，PDA有以下优点：

1）很重要的一点是模块化，把目标识别和融合分开了，这使得算法更容易实现和调试。

2）传感器测量值有效地和车辆目标关联。

3）传感器的信息得到了充分利用。雷达和摄像头的视野并不完全一样。雷达长距离探测比较准确，但视野相对较窄。摄像头长距离较弱，但视野较宽。有些目标只被单个的传感器探测到，此时这个目标会得到保留并进行跟踪。

注：
（1）多目标跟踪的核心是数据关联，卡尔曼只是一种滤波算法，可以作为跟踪来使用，但前提是知道上一帧的目标对应下一帧哪个目标，否则无法处理。
其中JPDA是多目标跟踪里面的数据关联的内容，PDA是单个目标里面的数据关联的内容。

（2）融合的关键点：时间上同步（时间戳解决），空间上同步（标定解决）。

融合涉及到多个过程：目标关联+目标滤波+目标跟踪等。

（3）最后在图像和雷达数据当中，需要解决几个关键问题：
1）观察值匹配问题， 如何验证图像和毫米波雷达得到的观测值与上一个周期的目标值相匹配。
2）数据融合问题， 如何将已经确认的雷达和图像的观测值进行融合，得到当前目标值。
3）维护有效目标库，为了对跟踪序列的目标进行删除、新建、跟踪，需要对目标的个数进行限定。对于新目标，我们需要建立新的轨迹进行跟踪。