基于计算机视觉的无人驾驶感知系统

作者简介：
吴双，原百度研究院硅谷人工智能实验室高级研究员，百度美国研发中心高级架构师。美国南加州大学物理博士，加州大学洛杉矶分校博士后，研究方向包括计算机和生物视觉，互联网广告算法，互联网文本和视频的推荐系统，语音识别和自然语言处理，曾在NIPS等国际会议中发表文章。
刘少山，PerceptIn联合创始人。加州大学欧文分校计算机博士，研究方向包括智能感知计算、系统软件、体系结构与异构计算。现在PerceptIn主要专注于SLAM技术及其在智能硬件上的实现与优化。曾在百度美国研发中心负责百度无人车系统架构与产品化。剧透：刘少山将在MDCC 2016移动开发者大会上分享无人驾驶通用技术干货。

本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2016年《程序员》

本文是无人驾驶技术系列的第三篇，着重介绍基于计算机视觉的无人驾驶感知系统。在现有的无人驾驶系统中，LiDAR是当仁不让的感知主角。但是由于LiDAR的成本高等因素，业界有许多是否可以使用成本较低的摄像头去承担更多感知任务的讨论。本文探索了基于计算机视觉的无人驾驶感知方案。首先，验证一个方案是否可行需要一个标准的测试方法，我们介绍了广泛被使用的无人驾驶视觉感知数据集KITTI。然后，我们讨论了在无人驾驶场景中使用到的具体计算机视觉技术，包括Optical Flow和立体视觉、物体的识别和跟踪以及视觉里程计算法。

无人驾驶的感知

在无人驾驶技术中，感知是最基础的部分，没有对车辆周围三维环境的定量感知，就有如人没有了眼睛，无人驾驶的决策系统就无法正常工作。为了安全与准确的感知，无人驾驶系统使用了多种传感器，其中可视为广义“视觉”的有超声波雷达、毫米波雷达、激光雷达（LiDAR）和摄像头等。超声波雷达由于反应速度和分辨率的问题主要用于倒车雷达，毫米波雷达和激光雷达承担了主要的中长距测距和环境感知，而摄像头主要用于交通信号灯和其他物体的识别。

LiDAR由于出色的精度和速度，一直是无人驾驶感知系统中的主角，是厘米级的高精度定位中不可或缺的部分。但是正如本系列第一篇文章《光学雷达在无人驾驶技术中的应用》分析，LiDAR存在成本昂贵、空气中的悬浮物影响精度等问题，毫米波雷达虽然相比LiDAR可以适应较恶劣的天气和灰尘，但也需要防止其他通讯设备和雷达间的电磁波干扰。

传统计算机视觉领域的主要研究方向是基于可见光的摄像头的视觉问题，从摄像头采集的二维图像推断三维物理世界的信息。那么最常见、成本较低的摄像头能不能承担更多的感知任务呢?在本文中，我们将探索基于计算机视觉的无人驾驶感知方案。首先，要验证一个方案是否可行，我们需要一个标准的测试方法。本文将介绍由德国卡尔斯鲁厄技术研究院（KIT）和丰田芝加哥技术研究院（TTIC）共同开发的KITTI数据集。在有了标准的数据集之后，研究人员可以开发基于视觉的无人驾驶感知算法，并使用数据集对算法进行验证。我们将介绍计算机视觉在无人驾驶感知方面的前沿研究，包括光流（Optical Flow）和立体视觉、物体的检测和跟踪以及视觉里程计算法。

KITTI数据集

KITTI数据集是由KIT和TTIC在2012年开始的一个合作项目，网站在http://www.cvlibs.net/datasets/kitti/，这个项目的主要目的是建立一个具有挑战性的、来自真实世界的测试集。他们使用的数据采集车配备了：

• 一对140万像素的彩色摄像头Point Grey Flea2（FL2-14S3C-C），采集频率10赫兹。
• 一对140万像素的黑白摄像头Point Grey Flea2（FL2-14S3M-C），采集频率10赫兹。
• 一个激光雷达Velodne HDL-64E。<