多传感器前融合和后融合的差别

1、前言

        多传感器信息融合（Multi-sensor Information Fusion,MSIF），就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。

        前融合是对融合后的多维综合数据进行感知，后融合是每个传感器各自独立处理生成的目标数据进行融合。

        硬件同步、硬同步：使用同一种硬件同时发布触发采集命令，实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。

        软件同步：时间同步、空间同步。

        时间同步、时间戳同步、软同步：通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，可以做到所有传感器时间戳同步，但由于各个传感器各自采集周期相互独立，无法保证同一时刻采集相同的信息。

        空间同步： 将不同传感器坐标系的测量值转换到同一个坐标系中，其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。

2、基本原理

        多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中要充分地利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

3、多传感器的前融合与后融合技术

3.1 后融合算法

1. 每个传感器各自独立处理生成的目标数据。
2. 每个传感器都有自己独立的感知，比如激光雷达有激光雷达的感知，摄像头有摄像头的感知，毫米波雷达也会做出自己的感知。
3. 当所有传感器完成目标数据生成后，再由主处理器进行数据融合。

3.2 前融合算法

        只有一个感知的算法。对融合后的多维综合数据进行感知。
        在原始层把数据都融合在一起，融合好的数据就好比是一个Super传感器，而且这个传感器不仅有能力可以看到红外线，还有能力可以看到摄像头或者RGB，也有能力看到LiDAR的三维信息，就好比是一双超级眼睛。在这双超级眼睛上面，开发自己的感知算法，最后会输出一个结果层的物体。