多传感器融合技术（序）

一．概述

多传感器融合（Multi-sensor Fusion, MSF）是利用计算机技术，将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。

多传感器融合基本原理就像人脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

具体来讲，多传感器数据融合原理如下：

　　（1）多个不同类型传感器（有源或无源）收集观测目标的数据；

　　（2）对传感器的输出数据（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi；

　　（3）对特征矢量Yi进行模式识别处理（如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等），完成各传感器关于目标的说明；

　　（4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；

　　（5）利用融合算法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述。

以Autoware为例，在自动驾驶中，传感器是汽车感知周围的环境的硬件基础，在实现自动驾驶的各个阶段都必不可少。自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息，扮演眼睛、耳朵的角色。控制模块分析处理信息，并进行判断、下达指令，扮演大脑的角色。车身各部件负责执行指令，扮演手脚的角色。而环境感知是这一切的基础， 因此传感器对于自动驾驶不可或缺。

 

二．必要性

为什么一定要多传感器融合呢？主要是扬长避短、冗余设计，提高整车安全系数。多传感器融合系统所实现的功能要远超这些独立系统能够实现的功能总和。使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下，额外提供一定冗余度。这种错误或故障可能是由自然原因（诸如一团浓雾）或是人为现象（例如对摄像头或雷达的电子干扰或人为干扰）导致。各传感器优缺点如下：

• Camera：对目标的颜色和纹理比较敏感，可以完成目标分类、检测、分割、识别等任务，但是不能得到精确的探测距离，而且易受光照、天气条件的影响。
• LiDAR：可以获得目标精确的3D信息，检测范围也能够到达150米。对光照不敏感，晚上也可以正常工作。但是角分辨率大，目标稀疏，无法获得目标纹理，分类不准，而且在雨、雾、雪等恶劣天气中，性能会下降。对扬尘、水雾也比较敏感，易产生噪点。
• Radar：可以提供精确的距离和速度信息，探测距离也比较远，可以全天候工作，但分辨率较低，无法提供物体高度信息。

相关传感器对比如下表：

三．先决条件

众多的传感器装在同一辆车上，如nuscenes中使用了6个camera、1个lidar、5个radar，使用同一个系统来采集并处理数据，为了将他们规范，我们需要对这些传感器统一坐标系和时钟，目的就是为了实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。 

• 统一时钟

在这里要做的就是同步不同传感器的时间戳：

GPS时间戳的时间同步方法: 这个需要看传感的硬件是否支持该种方法，如果支持则传感器给出的数据包会有全局的时间戳，这些时间戳以GPS为基准，这样就使用了相同的时钟，而非各自传感器的时钟了。但是还有一个问题，不同传感器的数据频率是不同的，如lidar为10Hz，camera为25/30Hz，那不同传感器之间的数据还是存在延迟，如下图所示。虽然可以通过找相邻时间戳的方法找到最近帧，但是如果两个时间戳差距较大，障碍物又在移动，最终会导致较大的同步误差。

如图：在 T1 时刻，sensor 2产生了一个数据，如果要进行时间同步，我们需要查找对应时刻的sensor 1和sensor 3的数据，而实际查找的方式就是找出与sensr 2时间差最近的传感器数据包。

硬同步方法：这种方法可以缓解查找时间戳造成的误差现象。该方法可以以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，才触发该角度的摄像头，这可以大大减少时间差的问题。这套时间同步方案可以做到硬件中，这样可以大大降低同步误差，提高数据对齐效果。

• 统一坐标系

统一坐标系有两步，一是运动补偿，二是传感器标定。

Lidar运动畸变的产生：对于一台机械式旋转激光雷达来讲，（a）为Lidar在静止条件下，一圈（一帧）点云数据服从一个坐标系下；而由于Lidar本身获取信息的物理特性，即依靠自身旋转激光部件来得到激光点阵列，所以Lidar一般工作频率为10HZ，在每个周期100ms内，由于Lidar本身的运动，一帧内的点云并不服从于同一个Lidar坐标系下，如（b）所示。

运动补偿主要针对长周期的传感器，如lidar，周期为100ms。由于所有的传感器都装在车上，车是运动的刚体。因此传感器在采集数据时，周期开始的时间点和结束时间点车辆是处于不同位置的，导致不同时刻采集的数据所处坐标系不同，因此需要根据车体的运动对传感器采集的数据进行运动补偿。如下图所示：虚线部分可以认为是世界坐标系，红色点代表一个静态的障碍物，在坐标系中有一个稳定的坐标（5，5）。蓝色部分代表自动驾驶车自己的局部坐标系，也就是说世界坐标系的（4，0）为局部坐标系的原点。在T+1时刻，这个局部坐标系移动到了（6，0）的位置，也就是自动驾驶车沿着X方向向前移动了2。也就是说，在T时刻，障碍物的在局部坐标系下的坐标是（1，5），而在T+1时刻，它的坐标变为了（-1，5）。这个问题解决起来比较简单，因为自动驾驶车拥有比较准确的实时定位信息，它可提供T和T+1两个时刻内，车本身的姿态差距，利用姿态差，我们就可以比较容易补偿自身移动了多少。

传感器标定分为内参标定和外参标定，内参标定，解决的是单独的每个传感器与世界坐标系间的变换；外参标定是在世界坐标系下，解决的不同传感器间的变换。传感器外参校准依赖于传感器的精确内参校准。

 

参考博客：https://www.cnblogs.com/wujianming-110117/p/12963151.html

参考论文：[1] Schneider S ,  Himmelsbach M ,  Luettel T , et al. Fusing vision and LIDAR - Synchronization, correction and occlusion reasoning[C]// Intelligent Vehicles Symposium. IEEE, 2010.