非结构化环境中的自动驾驶：我们还能走多远？

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享中科院等团队最新的非结构化道路自动驾驶综述！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『非结构化自动驾驶』技术交流群

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

由于环境多样性和场景复杂性等挑战，非结构化室外环境中的自动驾驶研究不如结构化城市环境中的研究先进。这些环境，如农村地区和崎岖的地形，构成了结构化城市地区不常见的独特障碍。尽管存在这些困难，但在非结构化室外环境中的自动驾驶对于农业、采矿和军事行动的应用至关重要。我们的调查回顾了250多篇关于非结构化户外环境中自动驾驶的论文，涵盖了离线地图、姿态估计、环境感知、路径规划、端到端自动驾驶、数据集和相关挑战。我们还讨论了新兴趋势和未来的研究方向。本综述旨在巩固知识，并鼓励对非结构化环境中的自动驾驶进行进一步研究。

• 项目主页：https://github.com/chaytonmin/Survey-Autonomous-Driving-in-Unstructured-Environments

在本文的讨论中，我们将非结构化环境定义为具有非结构化或最低结构化道路的越野、郊区或农村地区，这些地区缺乏明确的路线和典型的驾驶提示，如道路标志和交通信号。非结构化环境中的自动驾驶可以满足农业、建筑和采矿、物流和交付、救援和勘探以及军事行动等不同领域的需求。与结构化环境相比，这些非结构化环境呈现出完全不同的环境特征，对车辆的自动驾驶技术提出了更严峻的挑战。具体来说，如图2所示，非结构化环境有六个固有特征：

本文对非结构化环境中的自动驾驶进行了全面的回顾，如图3所示。

传统模块化自动驾驶系统的工作流程可以总结如图4所示。在离线准备阶段，系统首先使用离线映射模块创建目标环境的高精度先验图。接下来，基于车辆的实际自主任务要求，全局路径规划模块生成全局路径，为自动驾驶提供方向引导。一旦在线驾驶阶段开始，系统就会接收车载传感器收集的实时数据。姿态估计模块确定车辆的瞬时位置和方向，而环境感知模块分析周围环境的实时情况。然后，局部路径规划模块生成车辆应遵循的本地行驶路径，运动控制模块将这些路径转换为特定的控制命令。

这些模块之间的密切协作实现了系统的自动驾驶功能。然而如图5所示，当面对复杂和未知的非结构化环境时，自动驾驶系统的每个核心模块都会遇到不同程度的挑战，严重阻碍了工作流程的正常运行。

总结来说，本文的主要贡献如下：

• 全面研究非结构化环境中自动驾驶的最新进展，包括深刻的哲学见解和详细的讨论。

• 详细分析与非结构化环境中自动驾驶各个方面相关的文献，如离线建图、姿态估计、环境感知、路径规划、运动控制、端到端自动驾驶和数据集。

• 评估非结构化环境中自动驾驶的现有挑战和局限性，并探索潜在的研究方向，以指导和刺激未来的进展。

源自：中科院团队相关论文，扫码领取！

离线建图

在自动驾驶系统中，地图构建模块使用离线预收集的数据来创建目标环境的高精度先验地图。这些地图有效地存储和表示了有关静态环境特征和道路拓扑的关键信息，为后续的姿态估计和全局路径规划模块提供了有价值的先验数据。然而，在复杂和未知的非结构化环境中，离线建图模块的可用性往往难以保证。

A.非结构化环境下离线建图的挑战

• 无法预先收集数据：在针对非结构化环境的自主任务中，例如战场侦察或瓦砾遍布地区的灾难恢复，一个常见的挑战是这些环境的未知性和局限性。这意味着在任务开始之前，车辆通常无法进入目标区域收集数据，从根本上限制了地图构建模块的可用性。

• 实用性显著降低：即使在可以预先收集数据的非结构化环境中，缺乏标志、标记和铺砌道路等关键交通要素也会导致先前地图中包含的有用信息量大幅减少。这严重降低了它们在自动驾驶系统中的实用价值。此外，非结构化环境中的自然地形和特征会随着季节和天气而发生显著变化，需要频繁收集数据以更新之前的地图。这大大增加了系统的运营和维护成本。

地图构建过程通常以SLAM为核心技术，辅以在线和离线应用的手动标签和精确测量技术。根据使用的传感器类型，自动驾驶的测绘方法可分为四种主要类型：基于激光雷达的方法、基于视觉的方法、基毫米波的方法和多传感器融合方法，如表一所示。

姿态估计

在自动驾驶系统中，姿态估计模块使用实时传感器数据和已知的先验信息来估计车辆的位置和方向，为后续的规划和决策模块提供必要的位置数据。然而，当在复杂和未知的非结构化环境中运行时，姿态估计模块在提供高精度全局定位方面经常面临重大挑战。

A.非结构化环境中姿态估计的挑战

• GNSS信号易受干扰：在复杂的非结构化环境中，GNSS信号极易受到山脉、树木和岩石等障碍物的干扰，导致反射或散射，引发多径效应，从而大大降低定位精度。此外，电磁干扰的存在对全球导航卫星系统的可用性构成了严重威胁。这种干扰会扭曲或完全阻挡GNSS信号，严重影响姿态估计结果的准确性和稳定性。

• 有限的高精度定位方法：在未知的非结构化环境中，由于缺乏高精度先验地图，基于地图匹配的定位方法无法使用。虽然可以在一定程度上采用基于航位推算的方法，但它们固有的累积误差问题仍然难以解决，非结构化环境的复杂性可能会进一步加剧这种误差累积。因此，姿态估计模块中的高精度定位选项非常有限，这使得实现稳健、高精度的定位变得具有挑战性。

目前，自动驾驶中使用的姿态估计方法可分为三种主要类型：基于GNSS的方法、基于地图匹配的方法和基于里程计的方法。基于GNSS的姿态估计方法可能会受到卫星障碍或多径传播效应的不利影响，导致输出姿态估计结果的显著漂移，并导致定位失败。基于地图匹配的姿态估计方法通过将实时传感器观测值与预先构建的高精度地图对齐，实现了对地面无人平台姿态的精确估计。这个过程主要涉及两个关键步骤：观测匹配和优化校正。基于里程计的姿态估计方法以地面无人平台的初始位置为原点，使用在线获得的传感器数据迭代计算相对于前一时间点的姿态变化。

环境感知

在自动驾驶系统中，环境感知模块使用传感器收集的观测数据分析周围环境的实时情况。该分析为后续的规划和决策模块提供了关键信息。然而，当在复杂和未知的非结构化环境中导航时，感知模块面临着许多挑战。

A.非结构化环境中的环境感知挑战

• 定义环境特征的困难：在非结构化环境中，使用手动预设规则或先验假设很难有效地定义环境特征，这对它们的识别和理解构成了重大挑战。例如，非结构化环境中的通航区域可能采取各种形式，如土壤、草地或砾石路径，通常伴随着混合材料成分和不明确的边界。这使得基于规则的识别通航区域的方法不足。同样，非结构化环境中的障碍物分类非常复杂和模糊。各种各样的潜在障碍物，每种障碍物都有不同的形状和特征，因此手动设置统一的检测标准是不切实际的。此外，某些环境特征的属性与车辆本身的物理特性密切相关，缺乏绝对性，这为定义环境特征增加了另一层复杂性。

• 对手动标记样本的依赖：尽管深度学习取得了重大进展，为环境感知模块提供了强大的工具，但它们的性能在很大程度上取决于大量手动标记的训练样本。然而，用于非结构化环境的公开数据集仍然非常稀缺，迫使研究人员投入大量时间和资源来构建数据集。此外，由于非结构化环境中特征的多样性和环境类型的多样性，现有的标记数据往往难以在不同环境中有效重用。因此，当面对新的非结构化环境时，需要大量的手动标记工作，导致数据注释成本很高。更复杂的是，非结构化环境中常见的语义类别的模糊性导致了环境特征分类的混乱，并使得区分特征边界变得困难。这进一步增加了手动标记的难度和错误率。

在环境感知模块中，识别可通行区域是确保自动驾驶安全的核心功能。此外，环境感知模块中的另一项关键任务是对树木、车辆和道路等关键环境因素进行细分。

地形可通行性分析更侧重于为无人驾驶车辆识别合适的路径，对于在非结构化环境中实现机器人自主性至关重要。与此过程密切相关的任务包括道路检测、地面分割、自由空间检测等。在非结构化环境中，许多为城市街道设计的方法都是不够的，因为没有人行道或车道标记、路缘石或其他人工边界来区分道路和非道路区域。相反，地形由具有复杂视觉和几何特性的自然物体组成。根据所使用的传感器，可通行性估计算法分为基于激光雷达、基于视觉和基于融合。

路径规划

路径规划和轨迹规划算法是创建通过通航区域成功到达目的地的最佳路线的过程。这种最优性可以反映在路径长度、能耗或操作员认为重要的任何其他指标上。路径规划方法分为全局路径规划和局部路径规划（图8）。由于实际应用场景的多样性和复杂性，不同场景对路径规划的要求各不相同，因此路径规划方法有很多种，如表九所示。

与结构化环境相比，非结构化环境中的路径规划面临着几个主要挑战。这些挑战包括高度的不确定性和动态变化、复杂的状态空间、有限的先验知识、实时操作要求以及长期规划的复杂性。本节将详细讨论这些挑战，并探索非结构化环境的路径规划算法。

A.非结构化环境中的路径规划挑战

1）全局路径规划的挑战：在自动驾驶系统中，全局路径规划模块可以根据目标环境的先验信息和车辆的特定任务要求生成引导自动驾驶车辆的路径。然而，在导航复杂和未知的非结构化环境时，缺乏先验信息严重限制了全局路径规划模块的功能。

• 卫星图像作为唯一数据源：在未知的非结构化环境中，缺乏高精度先验地图意味着只能通过卫星图像获得目标场景的先验信息。因此，全局路径规划模块仅依赖卫星数据来生成全局制导路径。然而，以这种方式生成的路径往往存在明显的不准确性，精度水平远不能满足后续局部路径规划模块的要求。2）局部路径规划的挑战：在自动驾驶系统中，局部路径规划模块整合了全局引导信息、姿态估计数据和环境感知，在短时间内动态生成车辆的局部行驶路径。然而，当面对复杂和未知的非结构化环境时，局部路径规划模块会遇到几个挑战。

• 对定位误差高度敏感：在非结构化环境中，由于可靠定位方法的可用性有限，车辆的准确和稳健定位尤其具有挑战性。局部路径规划模块通常对定位误差高度敏感。如果姿态估计模块失败或产生不准确的结果，计划的局部路径可能会严重偏离，增加不正确路线和不当驾驶行为的风险，这对自动驾驶的安全构成严重威胁。

• 对几何约束的依赖性：现有的局部路径规划算法往往严重依赖几何约束信息。然而，在非结构化环境中，自然地形特征占主导地位，无法为无人平台提供清晰有序的约束信息。此外，这些自然元素往往缺乏空间规律性，使几何约束变得混乱或无效，这大大增加了局部路径规划过程的复杂性和不确定性。例如，在沙漠或草原等特征稀少的环境中，几何约束信息的稀缺使局部路径规划模块的决策支持不足。相反，在丛林或山区等特征密集的环境中，大量不规则分布的特征会导致过度冗余的几何约束，使局部路径规划模块难以生成可行的局部路径。

常见的全局路径规划算法包括A*算法、Dijkstra算法和快速探索随机树（RRT）。局部路径规划侧重于机器人运动过程中的即时路径调整，考虑机器人当前位置周围的环境信息。常见的局部路径规划算法包括动态窗口法（DWA）、基于优化的方法和人工势场（APF）方法。数据驱动方法可用于全局和局部路径规划。

运动控制

在传统的模块化自动驾驶系统中，运动控制模块的功能类似于车辆的“手和脚”。尽管已经对城市自动驾驶汽车进行了大量研究，但车辆在非结构化环境中存在一系列独特的建模挑战。车辆在复杂和不可预测的地形中行驶，导致车辆和地面之间的复杂相互作用。此外这些车辆拥有自己复杂的动力学，这增加了另一层复杂性。这些挑战可能会阻碍有效的高速控制和规划过程。

A.非结构化环境中运动控制的挑战

在传统的模块化自动驾驶系统中，运动控制模块的功能类似于车辆的“手和脚”。尽管已经对城市自动驾驶汽车进行了大量研究，但车辆在非结构化环境中存在一系列独特的建模挑战。车辆在复杂和不可预测的地形中行驶，导致车辆和地面之间的复杂相互作用。此外，这些车辆拥有自己复杂的动力学，这增加了另一层复杂性。这些挑战可能会阻碍有效的高速控制和规划过程。

• 车辆和地面之间的复杂相互作用：车辆在复杂和不可预测的地形中行驶，如崎岖的地形、茂密的森林和不同的土壤类型，这些地形可能会因雨或雪等环境因素而突然变化。这些条件会导致车辆和地面之间的复杂相互作用，包括牵引力、打滑和负载分布不均的变化。这种动态会显著影响车辆的稳定性和控制，需要复杂的算法来实时准确地预测行为。

• 车辆具有复杂的动力学：每辆车都有不同的特征，包括重量分布、悬架设计和轮胎特性，所有这些都会影响它在非结构化环境中对输入和外力的反应。例如，在同一地形上行驶时，重型车辆的行为可能与轻型车辆不同，因为它的动量和惯性在其运动中起着至关重要的作用。了解这些个体动力学对于制定有效的控制策略至关重要，因为它们决定了车辆在加速、制动和转弯过程中的反应。这些挑战可能会阻碍有效的高速控制和规划过程，因此在建模阶段考虑外部地形和车辆的内部动力学至关重要。

基于车辆的自由度，其运动控制过程可以解耦为两个相对独立的过程：纵向控制和横向控制。纵向控制侧重于通过自动调整动力或制动执行器来精确管理车辆的速度和加速度，确保车辆以所需的速度行驶。另一方面，横向控制通过调节转向机构实时调整车辆的方向，确保精确跟踪计划路径。目前，地面无人机运动控制模块中使用的主要控制算法包括比例积分微分（PID）控制、预见跟踪控制、滑模控制和模型预测控制（MPC）。目前，非结构化环境中自动驾驶运动控制的研究主要围绕MPC方法展开。

端到端自动驾驶

自动驾驶的本质问题在于探索和建立传感器观测数据与车辆控制命令之间的映射关系。鉴于自动驾驶系统的固有复杂性，直接描述这种映射关系极具挑战性。越来越多的研究开始探索数据驱动概念从深度学习到自动驾驶的直接应用，从而为非结构化环境端到端自动驾驶带来了一种新的范式。

端到端自动驾驶方法摒弃了传统模块化自动驾驶方法中繁琐的任务划分和规则设计，而是利用深度神经网络直接学习从传感器观测数据到大量数据中的车辆控制命令的复杂映射关系。该方法的输入端可以包括多模态信息，如视觉数据、LiDAR点云数据、平台运动状态和任务命令，而输出端主要为转向机构、动力执行器和制动执行器生成相应的控制命令。

端到端自动驾驶方法的研究起源可以追溯到1988年，当时卡内基梅隆大学发起了开创性的ALVINN项目。在这个项目中，研究人员利用浅层全连接神经网络来处理输入图像和雷达数据，实现了车辆运动方向的端到端控制。随后，在DARPA发起的DAVE项目中，使用六层神经网络将立体摄像头获得的视觉信息映射为无人驾驶车辆转向角的控制信号，首次成功实现了端到端的自主避障。尽管这些早期研究在一定程度上揭示了神经网络在自动驾驶系统中的潜力，但在实现完全的自动驾驶功能之前，它们仍有很大的差距需要弥合。

2016年，NVIDIA在DAVE项目的基础上进一步推出了DAVE-2项目，通过训练大规模深度卷积神经网络，成功实现了基于高速公路和城市道路视觉信息的端到端全过程自动驾驶。这一突破性的成就不仅验证了端到端自动驾驶研究范式的有效性，而且真正将这一研究范式推向了学术界的前沿。

随着深度学习技术的不断进步和硬件计算能力的不断提高，端到端的自动驾驶方法已成为非结构化环境中自动驾驶的热门研究课题。根据网络模型的不同学习方法，该方法逐渐分为两个主要研究方向：模仿学习方法和在线强化学习方法，如表十七所示。

数据集

展望

非结构化环境中自动驾驶的未来研究工作应集中在增强模块化自动驾驶和端到端自动驾驶，收集更多数据，提高自动驾驶系统的安全性和效率。这些努力将推动自动驾驶技术在更广泛、更复杂的非结构化环境中的进步和应用。

离线地图。非结构化环境中自动驾驶离线地图的未来前景侧重于创建详细、高分辨率的地图，以解释不同的地形和动态的环境变化。先进的传感器技术，如激光雷达和摄影测量，可以捕捉到景观的复杂特征，从而生成全面的数字双胞胎。此外，整合时间数据将使这些地图能够适应季节和天气变化，最终增强导航能力。

姿态估计。在非结构化环境中进行姿态估计的挑战需要开发利用多种传感器模态的鲁棒算法，包括相机、激光雷达和IMU。未来的进步可以深入研究机器学习技术，以提高对复杂空间关系的理解，并补偿特征的模糊性，从而在混乱的地形中实现更准确的实时定位。

环境感知。在环境感知领域，未来的创新应侧重于多模态传感器融合，整合视觉、听觉和触觉数据，以更好地识别和分类自然物体。通过采用先进的深度学习模型，系统可以更有效地识别非结构化环境中的各种元素，从而更好地理解复杂环境，并能够适应新的、看不见的挑战。

路径规划。未来非结构化环境的路径规划技术可能会利用自适应算法，该算法能够根据环境的实时反馈动态调整路线。通过结合强化学习和预测建模，自主系统可以有效地导航无序的场景结构和复杂的道路状况，在不确定的地形中优化安全性和效率。

运动控制。运动控制的进步将优先发展能够处理非结构化环境的不可预测性的高响应系统。未来的前景包括使车辆能够平稳地穿过不同的表面和斜坡，同时适应地形的突然变化，最终在具有挑战性的条件下增强稳定性和控制力的算法。

端到端自动驾驶。非结构化环境中端到端自动驾驶的未来将强调从大量数据集和现实世界经验中学习的先进模型的集成。这种整体方法可以使系统能够自主导航复杂的场景，识别和适应环境变化，而无需严重依赖预定义的规则或结构。

数据集。构建包含非结构化环境多样性和复杂性的强大数据集至关重要。未来的工作应侧重于创建合成和真实世界的数据集，以捕捉各种场景，包括季节变化和不同的地形，从而训练机器学习模型。解决语义类别模糊性的增强标记技术对于提高这些不可预测环境中自主系统的准确性和可靠性也至关重要。

结论

由于农村道路、山地和荒野地区等自然环境的多样性和复杂性，非结构化环境中的自动驾驶带来了许多挑战。这些环境缺乏标准化的道路标记，容易受到野生动物和动态天气条件等不可预测的障碍物的影响。本综述概述了非结构化环境中自动驾驶的当前进展，涵盖了离线映射、姿态估计、环境感知、路径规划、运动控制、端到端驾驶和数据集等领域。它有助于快速了解该领域的研究进展。虽然在非结构化环境中实现完全自动驾驶存在重大障碍，但正在进行的研究和技术进步继续为能够在世界上最具挑战性的地形中导航的更安全、适应性更强的自动驾驶汽车铺平道路。

参考

[1] Autonomous Driving in Unstructured Environments: How Far Have We Come?