激光雷达与摄像头数据融合（1）——概括

为了安全和可靠性，LiDAR（激光雷达）和Camera（摄像机）这两个传感器几乎在每个机器人或是自动驾驶汽车中都被使用。最近我的毕设开题思路中也需要用到这两个传感器，将它们布设在路侧或者车上，也因此涉及到了两个传感器的融合。在这里写一篇随笔来记录我的学习。

激光雷达 LiDAR

激光雷达发出激光并根据在周围反射并返回的光线在周围的环境中提供点。在这里我可选的激光雷达是Velodyne 16线 128线和不知名单线激光雷达。这些雷达都提供360°的水平视场（FOV）和大概15°的有限垂直视场。LiDAR的主要优点是它可以提供高度准确的深度值。但是，它们的输出是稀疏的，即它们不会提供非常高分辨率的输出。

摄像机 Camera

普通的摄像机（单目摄像机）在生活中很常见，是一个2D传感器。优势在于可给出一个清晰，可选高分辨率的图像，劣势在于视场有限，聚焦于有限视场，且没有深度值信息。尽管存在局限性，但可以使用相机图像并运行机器学习和深度学习算法来获得我们想要的结果。

融合 Fusion

将LiDAR和Camera的输出相结合有助于克服其各自的局限性，优势互补。从图像中发现深度信息进行目标检测等应用。传感器融合的目的是利用每个传感器的优点来精确了解其环境。相机是检测道路，读取标志或识别车辆的非常好的工具。激光雷达更擅长准确估计该车辆的位置，而雷达更擅长准确估计速度。
相机和LiDAR的融合可以通过两种方式完成——数据融合或结果融合。这两种方式分别发生在早期和后期。故也可称之为早期融合和后期融合。

数据融合 Data Fusion

第