无人驾驶-激光雷达与相机联合校准（Lidar Camera Calibration）

1.激光雷达与摄像头性能对比

在无人驾驶环境感知设备中，激光雷达和摄像头分别有各自的优缺点。


摄像头的优点是成本低廉，用摄像头做算法开发的人员也比较多，技术相对比较成熟。摄像头的劣势，第一，获取准确三维信息非常难（单目摄像头几乎不可能，也有人提出双目或三目摄像头去做）；另一个缺点是受环境光限制比较大。


激光雷达的优点在于，其探测距离较远，而且能够准确获取物体的三维信息；另外它的稳定性相当高，鲁棒性好。但目前激光雷达成本较高，而且产品的最终形态也还未确定。


就两种传感器应用特点来讲，摄像头和激光雷达摄像头都可用于进行车道线检测。除此之外，激光雷达还可用于路牙检测。对于车牌识别以及道路两边，比如限速牌和红绿灯的识别，主要还是用摄像头来完成。如果对障碍物的识别，摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言，它对障碍物只能分一些大类，但对物体运动状态的判断主要靠激光雷达完成。

2.激光雷达和摄像头分别完成什么工作

无人驾驶过程中，环境感知信息主要有这几部分：一是行驶路径上的感知，对于结构化道路可能要感知的是行车线，就是我们所说的车道线以及道路的边缘、道路隔离物以及恶劣路况的识别；对非结构道路而言，其实会更加复杂。


周边物体感知，就是可能影响车辆通行性、安全性的静态物体和动态物体的识别，包括车辆，行人以及交通标志的识别，包括红绿灯识别和限速牌识别。

对于环境感知所需要的传感器，我们把它分成三类：


感知周围物体的传感器，包括激光雷达、摄像头和毫米波雷达这三类；


实现无人驾驶汽车定位的传感器，就是 GPS 、IMU 和 Encoder；


其他传感器，指的是感知天气情况及温、湿度的传感器。


今天主要讲的是感知周围物体的传感器，即：激光雷达、毫米波雷达和摄像头。其实他们都有各自的优缺点。

在无人驾驶环境感知中，摄像头完成的工作包括：


*车道线检测；
*障碍物检测，相当于把障碍物识别以及对障碍物进行分类；
*交通标志的识别，比如识别红绿灯和限速牌。

对车道线的检测主要分成三个步骤：

第一步，对获取到的图片预处理，拿到原始图像后，先通过处理变成一张灰度图，然后做图像增强；

第二步，对车道线进行特征提取，首先把经过图像增强后的图片进行二值化（ 将图像上的像素点的灰度值设置为 0 或 255，也就是将整个图像呈现出明显的黑白效果），然后做边缘提取；

第三步，直线拟合。

车道线检测难点在于，对于某些车道线模糊或车道线被泥土覆盖的情况、对于黑暗环境或雨雪天气或者在光线不是特别好的情况下，它对摄像头识别和提取都会造成一定的难度。

另一个是障碍物检测。上图是我们在十字路口做的实验，获取到原始图像后，通过深度学习框架对物体进行识别。在这当中，做训练集其实是主要的难点。

还有一个是道路标识的识别，这一部分的研究比较多，这里不再赘述。