无人驾驶感知篇之融合（一）

        本来这篇文章计划昨天写的，但昨天看到上海的疫情关于上海婴幼儿被单独隔离问题，深感无奈。也不知道我们这些上班族能封到什么时候，突然想念之前堵车的上海，热闹的上海，愿疫情能早点结束！！！

1.什么是无人驾驶感知的融合

融合，顾名思义，传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境，从而提高系统决策的正确性。多个同类或不同类传感器分别获得不同局部和类别的信息，这些信息之间可能相互补充，也可能存在冗余和矛盾，而控制中心最终只能下达唯一正确的指令，这就要求控制中心必须对多个传感器所得到的信息进行融合，综合判断。

2.多传感器融合要求

      多传感器融合要求主要可以分为硬件层面的要求以及软件层面的要求。首先讲讲从硬件方面的要求，融合的硬件必须数量要足够，也就是不同种类的传感器都要配备，否则就无法能够保证信息获取充分且有冗余。接着讲讲从软件方面的要求，软件算法要足够优化，数据处理速度要够快，且容错性要好，否则就无法保证最终决策的快速性和正确性。最后强调一点，融合算法要足够优化，因为多传感器的使用会使需要处理的信息量大增，这其中甚至有相互矛盾的信息，如何保证系统快速地处理数据，过滤无用、错误信息，从而保证系统最终做出及时正确的决策十分关键。

3.融合的分类

      针对多传感融合，咱们可以按照融合层次的不同进行分类，目前按照这种分类方式可以分为数据层融合，特征层融合，决策层融合。

数据层融合，即老外所说的Data-level Fusion；其核心思想是由一种传感器数据生成目标物体的点云，然后在另外一种传感器数据上进行验证。这种方式也是融合最为简单的一层融合。

      特征层融合，即老外所说的Feature-level Fusion；与数据层融合相比，特征层的融合更加难度大一些，也更有利于神经网络也学习不同传感器之间的互补性，但是算法设计的复杂程度也相对较高。一般的做法是将点云数据映射到图像坐标系下，形成一个类似于相机图像的点云图像

        决策层融合，即老外所说的 Decision-level Fusion ；其核心思想是分别处理雷达和图像数据，将两种数据中得到的结果进行融合。这种方法需要考虑的是如何将不同可信度的结果整合到一起，采用的多是传统的基于滤波的策略。该方法的融合难度较大。其实不管哪种层次的融合，必须保证融合后的感知信号准确度和可靠性，也必须运用大量的数据和工况来保证感知融合的鲁棒性。OK，理论介绍那么多，下图为三种不同层次的融合策略。