多传感器融合系列之自动驾驶中的传感器

1. 多传感器融合需求概述

（1）自动驾驶中常用的传感器

• 激光雷达（LiDAR, Light Detection And Ranging）
• 相机（Camera）
• 毫米波雷达（常称为Radar, Radio Detection And Ranging, 实际是millimeter wave Radar）
• 超声波雷达（ultrasonic Radar）
• 全球卫星定位系统（GNSS, Global Navigation Satellite System）和RTK（Real-Time Kinematic）
• 惯性传感器（IMU, Inertial Measurement Unit）
• 轮速计（Wheel Speedometer）

（2）运动感知类传感器（协助分析我们在哪，一般用于解决建图定位问题）

• 全球卫星定位系统（GNSS, Global Navigation Satellite System）和RTK（Real-Time Kinematic）：GNSS结合RTK技术，能够做到实现分米、甚至是厘米级别的定位
• 惯性传感器（IMU, Inertial Measurement Unit）：可以获取运动过程中的速度、角速度、加速度等信息
• 轮速计（Wheel Speedometer）：可以获取转角、横向以及纵向的速度等信息
• 激光雷达（LiDAR, Light Detection And Ranging）
• 相机（Camera）

（3）环境感知类传感器（协助分析我们在路上会遇到什么，一般用于解决感知问题）

• 激光雷达（LiDAR, Light Detection And Ranging）

• 相机（Camera）

• 毫米波雷达（常称为Radar, Radio Detection And Ranging, 实际是millimeter wave Radar）

• 超声波雷达（ultrasonic Radar）

（4）自动驾驶系统的要求

• 能适应不同天气条件：晴天、雨天、雾天、雪天、阴天等

• 能适应不同光照条件：白天、黄昏、黑夜、阳光直射、背光

• 能感知不同距离：盲区(0-2m)、近距离(2-40m)、中距离(40-80m)、远距离(80-200m)、超远距离(200+m)

• 能在多维度上进行高精度检测：六自由度观测（x, y, z, roll, pitch, yaw），速度/加速度/角速度等

• 系统级要求：全程无漏检、无误检、时间误差<10ms、位置误差<30cm

（5）各传感器的优劣

• Camera：优点是能够提供丰富的颜色细节，适用于目标丰富场景，缺点是缺乏深度信息，对光照条件是必要条件

• LiDAR：优点是能够提供完整的3D信息，对距离感知能力强。缺点是成本高，量产难度大，对雨水、灰尘敏感

• Radar：优点是能够全天候工作，速度感知能力强，量产成熟。缺点是对高度和角度的精度较低，对静止障碍物的感知能力弱。

• 结合传感器的优缺点可知，一种传感器无法适配所有场景，需要出色的融合技术才能解决。另外，从传感器的功能来看，建图定位和感知两个方向都需要涉及到多传感器融合问题。

2. 多传感器硬件系统的构建

2.1 感知多传感器分析

（1）光波

​ 光波是一种电磁波，LiDAR、Camera和Radar都是以电磁波为介质进行环境观测，三者的波长依次增大。对于不同波长的电磁波，其特性为：

• 短波：传播方向性好，因此检测精度高，但看不远
• 长波：衍射能力强，因此抗干扰能力强（如雨水、灰尘等的影响较小），看得远

​ 基于长波与短波特性，在自动驾驶中使用多波段配合，互为冗余，可适配各种天气、光照条件、感知距离和精度需要。

问题：为什么不使用红外传感器？
 因为红外传感器是基于热成像的，自动驾驶室外场景中存在很多热成像源，相应地噪声会很多，所以开放式环境下很少使用红外传感器。但室内场景下红外传感器使用得较多，比如自动驾驶的智能座舱的DMS成像中会使用红外传感器技术，来感知人的行为和信息。

（2）声波

​ 声波是一种机械波，利用机械振动在介质中的传播来进行感知，如超声波。机械波的特性如下：

• 机械波通过机械振动在介质中传播波形，它的波长较长，相应的衍射能力也较强，因此具有一定的抗干扰能力（透视能力）
• 机械波在介质中传播的距离较短，因此它的感知距离较短，衰减比较快

​ 在自动驾驶中，使用超声波能够强化近距离检测能力，在近距离与电磁波传感器互为冗余。

2.2 传感器成像机制

2.2.1 Camera成像

（1）Camera成像机制

​ Camera成像利用小孔成像原理，如下图所示，太阳光照射到物体上，这些光会反射到棱镜上，通过焦点到达成像平面上，形成一个倒立的影像。其特点如下：

• 光源来自外部，因此对光照（如黑夜）敏感

• 在成像的过程在会有一个维度的丢失，将一个3D物体在一个2D平面上进行成像，丢失了物体的深度维度

• 成像清晰的约束：通常$f\le v\le 2f$$，$$\frac{1}{f}=\frac{1}{u}+\frac{1}{v}$$

• 视角由像距和传感器尺寸共同决定：
  水平视角 : H F O V = 2 a t a n ( 0.5 w / v ) 垂直视角 : V F O V = 2