让端到端智驾算法从梦想照进现实——自动驾驶大模型 ， 一个模型全都搞定

《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）论文，成功从9155篇投稿、2359篇接收论文、12篇入选最佳论文候选名单中脱颖而出。

今年12篇入选最佳论文候选名单机构，不仅有谷歌、Stability AI等人工智能领域顶尖企业，也有上海人工智能实验室、斯坦福大学、康奈尔大学、香港中文大学、香港科技大学、南洋理工大学等研究机构及高校。

而上海人工智能实验室、武汉大学及商汤科技联合获奖的关键在于，提出了一个感知决策一体化的自动驾驶通用大模型UniAD。

废话不多说直接上干货

现代自动驾驶系统的特点是按顺序排列的模块化任务，即感知、预测和规划。为了执行广泛的多样性任务并实现高级智能，现代方法要么为单个任务部署独立模型，要么设计具有单独的多任务范式。但是，他们可能会遭受累积错误或任务协调不足的困扰。相反，我们认为应设计和优化一个有利的框架 追求终极目标，即自动驾驶的规划。为此，我们重新审视其中的关键组件感知和预测，并确定任务的优先级，例如所有这些任务都有助于规划。我们介绍统一 自动驾驶（UniAD），一个综合框架，集全栈驾驶任务于一身的最新 网络。它经过精心设计，以利用

每个模块，并从全局角度为代理交互提供互补的特征抽象。任务与统一的查询接口进行通信，以方便彼此进行规划。我们将 UniAD 实例化 具有挑战性的 nuScenes 基准测试。

 图片来源：上海人工智能实验室自动驾驶团队

 图片来源：上海人工智能实验室自动驾驶团队

 图片来源：上海人工智能实验室自动驾驶团队

随着深度学习的成功发展，自动驾驶算法被集成了一系列任务，包括perception中的detection、tracking和mapping，以及prediction中的motion、occupancy预测。在工业界的大多数解决方案中，只要板载芯片的带宽允许，就会为每个任务独立部署各自的模型。虽然这样的设计简化了跨团队研发的难度，但由于优化目标互相隔离，引入了跨模块信息丢失、误差累积和特征失调(feature misalignment)的风险。

图片来源：上海人工智能实验室自动驾驶团队

端到端自动驾驶的出现将perception、prediction和planning的所有节点统一为一个整体。为了支持planning任务，应确定选择哪些任务放在planning的前面，并确定各业务优先级。系统应以planning为导向，用一系列组件进行精细设计，以便于把各独立组件累积起来的误差或MTL方案中的负转移（negative transfer）减少到几乎没有。

 图片来源：上海人工智能实验室自动驾驶团队

 图片来源：上海人工智能实验室自动驾驶团队

 图片来源：上海人工智能实验室自动驾驶团队

图片来源：上海人工智能实验室自动驾驶团队

这是一个统一的自动驾驶算法框架，利用五个基本任务来实现一个安全和强大的系统，UniAD的设计理念是面向planning。作者认为，这不是针对一些简单任务利用工程实现来粗放地堆砌。UniAD中的关键组件是基于query的设计来连接所有节点。与传统的边界框表征形式相比，query受益于更大的感受野，可以减轻planning上游任务预测的复合误差。此外，query可以灵活地对各种交互进行建模和编码，例如多个交通参与实体之间的关系。作者提到，UniAD是第一个全面研究自动驾驶领域包括perception、prediction和planning在内的多种任务联合合作的作品。

图片来源：上海人工智能实验室自动驾驶团队

自动驾驶算法框架的系统级设计。为了实现对规划的最终追求，提出了一个面向planning的pipeline，即UniAD。作者对感知和预测中每个模块的必要性进行了详细分析。为了统一任务，提出了一种基于query的设计来连接UniAD中的所有节点，从而在环境中受益于agent交互的更丰富的表征形式。大量的实验在各个方面验证了所提方法的有效性。

协调这样一个具有多个任务的综合系统并非易事，需要巨量的计算力，尤其还要使用时域上的历史信息进行训练。如何设计和策划轻量级部署的系统值得将来探索。此外，是否合并更多的任务，如深度估计、行为预测，以及如何将它们嵌入到系统中，也是值得未来探索的方向。

原论文学习，可以私信D主