教授专栏117 | 李昊昂:面向自主货物运输应用的定位与感知系统

文 / 李昊昂教授

目前，工业界中用于运送重货的车辆大多由人类驾驶员操作，但以机场、工业园区为主要业务的货运公司普遍存在超过25%的驾驶员短缺的问题。此外，物流车辆驾驶员的工资在过去几年中增涨了30%，物流行业40岁及以上的员工比例从2008年的51.50%增加到2018年的59%。由于人类驾驶员的短缺、人工成本的增长以及高风险的工作环境，手动驾驶的工业车辆将逐渐被自动驾驶车辆所取代。这种变革将极大地提高机场、火车站、港口和工业仓库的货物运输效率，并降低运营成本。

面向货物运输应用的工业环境示意图

尽管自动驾驶技术已研究多年，但自动驾驶的工业车辆目前仅适用于一些特定场景，速度慢且路线固定，通常局限在小型仓库的室内封闭区域。与道路上的自动驾驶载人汽车相比，自动驾驶工业车辆有两个重要的不同之处。首先，在许多任务中，定位和导航的精度必须高达20-50毫米，这比自动驾驶载人汽车所需的车道级别精度更高。其次，工业环境常呈现较大的尺度、动态的目标且稀疏的特征，这给车辆定位、轨迹闭合和三维建图任务带来了很大的困难。为了满足严格的安全和可靠性要求，传感系统应更加精确和稳健。

李昊昂教授与合作者在 IEEE Robotics & Automation Magazine 上发表了题为 Deep Learning-Based Localization and Deep Learning-Based Perception Systems：Approaches for Autonomous Cargo Transportation Vehicles in Large-Scale, Semiclosed Environments 的文章。

本文将介绍一种面向自主货物运输车辆的感知和定位技术。本工作的主要贡献为基于深度学习增强的大规模定位和制图方法以及基于多传感器融合的感知算法。我们还将演示这些技术如何实现大型机场环境中的自动货物运输。

团队研发的自动驾驶工业车辆及其传感器系统，可用于机场、工业园区的货物运输场景。

一、基于深度学习的大尺度建图与定位

定位和建图是自动驾驶车辆面临的基本技术问题之一，其对于建立路径跟踪和自主导航的环路至关重要。为了实现准确的定位，有必要构建环境的先验地图。本研究中，研究团队提出了一个基于深度学习增强的大规模工业环境制图和定位框架。首先，我们从原始的三维激光数据中提取局部特征，以表达每个点周围的局部三维结构。随后利用基于熵最小化的标准来确定邻域大小，并计算三种类型的局部特征，即二维-三维特征值、高度分布和法向量特征。最后，利用这些局部特征作为输入，我们设计了一个基于深度学习的位置描述网络，生成具有判别性和可泛化性的全局描述符，以唯一的编码大规模点云。

此外，激光和摄像头之间进行联合标定是定位与建图工作的基础。研究团队提出了一种高精度的激光帧-图像帧中三维-二维匹配方法。与传统标定板上的角点不同，我们选择的匹配点可以覆盖整个三维环境，从而确保在大规模应用场景中的准确性。

激光和视觉传感器联合标定

基于上述点云编码和标定结果，团队完成姿态跟踪和点云制图。系统的前端主要面向车辆定位。我们直接利用最先进的LeGO-LOAM进行姿态跟踪，对3D激光点云进行预处理，提取地面、边缘和平面点的手工特征，并通过将里程计姿态预测和特征匹配结果相结合，迭代地估计和更新自我运动姿态。系统的后端主要面向环境建图。我们利用因子图模型来估计由一系列连续关键帧构成的姿态图。关键帧的构建考虑了行驶距离、转向角和时间持续性。然后，从闭环模块获得的闭环约束导入优化姿态图，并防止在长距离姿态跟踪过程中制图误差快速累积。

二、基于多传感器融合的感知

感知系统需要实现目标检测、跟踪等任务，目前广泛使用基于视觉和激光的方法。视觉传感器数据可以提供丰富的信息和特征，但受到有限感知范围和光照敏感性的影响。基于激光的感知方法可以提供被检测对象的精确空间信息，并且在夜晚或恶劣天气下更加稳健，但存在局部稀疏问题。此外，基于激光的感知方法很难获得完整和准确的目标分割。考虑到它们的强大互补性，我们提出了基于多传感器信息融合的集成感知框架。

车辆等动态目标的检测与追踪

目标检测模块的任务是确定传感器周围移动的人员、车辆、货物托盘和其他动态实体。对于激光检测模块，我们首先去除属于地面表面的点云，然后将点云聚类成簇，从而获得激光检测结果。去除地面的操作可以减少数据量和计算成本，并使对象分割结果更加突出。研究团队在通用的自动驾驶数据集上对网络进行训练，该数据集包含各种天气和光照条件下的车辆、行人和交通标志。

目标跟踪模块对于确保自动驾驶行驶安全至关重要。面对高度动态和狭窄的工业环境，无人驾驶车辆需要与大量移动车辆和人造物体共享操作环境，因此实际目标检测难以避免缺失检测和误检测的问题。本研究的目标跟踪模块可以有效改进检测系统的性能，并提供关于动态目标的额外预测信息。基于先前的跟踪结果，我们提出了一个物体运动估计模块，使用EKF框架整合来自激光和视觉跟踪模块的结果，最终估计物体的运动状态。

‍

论文链接（点击跳转阅读）：

Deep_Learning-Based_Localization_and_Perception_Systems_Approaches_for_Autonomous_Cargo_Transportation_Vehicles_in_Large-Scale_Semiclosed_Environments.pdf

致谢：上述成果为李昊昂攻读博士期间与来自香港中文大学、上海交通大学、哈尔滨工业大学的各位学者（刘哲教授、王贺升教授、刘云辉教授等人）的联合工作。该工作得到了国家自‍然科学基金、香港创新及科技基金等项目的支持。

李昊昂教授简介

李昊昂教授，香港科技大学（广州）担任助理教授。在此之前，李教授在慕尼黑工业大学担任博士后研究员，师从Daniel Cremers教授（Leibniz Prize获得者）。他于2022年获得香港中文大学博士学位，师从Yun-Hui Liu教授（IEEE Fellow）。博士期间，他曾在苏黎世联邦理工学院进行学术访问，师从Marc Pollefeys教授（Marr Prize获得者）。他于2016和2018年分别获得武汉大学学士和硕士学位。他在计算机视觉和机器人行业顶级会议和期刊（例如CVPR, ICCV, ECCV, TPAMI等）发表多篇文章，并曾获得香港特区政府颁发的研究外展奖、ICCV 2021博士生联合会奖、CVPR 2021杰出审稿人、香港中文大学工学院杰出教学助理等奖项。李教授的主要研究方向为三维计算机视觉、移动机器人/无人机导航、自动驾驶等。 

由香港科技大学主理出品的【教授专栏】，汇集来自不同领域教授的学术成果、前沿论断及知识科普，用最新鲜的视角解读社会动态，以最前沿的角度解释科技奥秘。期待通过香港科技大学的平台，聚合更多新锐观点，打造出一期又一期生动又深刻的【教授专栏】！

主编 | 袁冶

责编 | 周姗

核校 | 柳松、许珺、吴倩

来源 | 转载自香港科技大学广州系统枢纽公众号