（已开源）Level 2 Autonomous Driving on a Single Device: Diving into the Devils of Openpilot

自动驾驶小学生

已于 2024-06-16 23:07:18 修改

阅读量217

点赞数 3

分类专栏：论文笔记文章标签： OpenPilot L2 End-to-End OpenDriveLab nuscenes

于 2024-06-10 17:26:08 首次发布

本文链接：https://blog.csdn.net/cg129054036/article/details/139579395

版权

论文笔记专栏收录该内容

68 篇文章 164 订阅

订阅专栏

在这里插入图片描述
迄今为止大规模量产的自动驾驶解决方案仍然属于L2阶段。在这其中，Comma.ai公司声称凭借一套999美元的硬件设备（单目摄像头）就能实现L2功能，Comma.ai开源了其对应的软件项目：OpenPilot。这是可能的吗？如果是可能的，又是如何做到这一点？

在好奇心的驱使下，我们深入到Openpilot中，并得出结论：它成功的关键是端到端系统设计，而不是传统的模块化框架。Openpilot内部模型简称为 Supercombo，它可以从单目输入动态预测自车的未来轨迹和其他道路语义。不幸的是，模型训练过程和大量数据并没有公开。因此我们尝试复现模型并在公开数据集上进行评测。本文中复现的重构网络为OP-Deepdive。为了公平比较我们的模型与原始Supercombo，我们引入了一种双模型部署方案来测试真实世界中的模型性能。OP-Deepdive在nuScenes、Comma2k19、CARLA 和内部数据（在上海收集）上的实验结果表明，低成本设备确实可以实现大多数 L2功能，并且与原始Supercombo模型性能相当。

在本文中，我们希望与观众分享我们最新的发现，提供一个从工业产品层面实现端到端自动驾驶的新视角，并可能启发整个社区在本文提供的环境中继续提高性能。

项目链接：https://github.com/OpenDriveLab/Openpilot-Deepdive

文章目录

1. Introduction

与大多数传统的基于模块化的自动驾驶解决方案相比，Openpilot在系统级设计上采用了端到端的理念，直接从相机图像中预测轨迹（如图2所示）。Openpilot中的这个端到端网络被命名为Supercombo，这是我们希望在本文中重新实现和讨论的主要目标。尽管Openpilot被认为是首次将端到端设计应用于自动驾驶量产产品中，但学术界已经有许多开创性的工作试图实现端到端框架（没有显式感知模块的框架设计）。这些工作激发了这样一种直觉，即端到端设计将通过协同训练优化和多任务学习来利用更好的特征表示。然而，学术界的文献在模拟环境CARLA上取得了令人印象深刻的结果，当我们将算法转移到现实情况时，驾驶性能和安全性保证仍不清楚。

在这里插入图片描述
为此，Openpilot的重要性在于对整个自动驾驶系统进行端到端设计的产品级实现，可以满足日常场景的基本L2功能。Openpilot的成功将鼓励学术界和工业界尝试更多的研究。不幸的是，训练细节和数据并没有公开。我们相信这对于以端到端的方式实现 L2 目标至关重要，这促使我们构建自己的端到端模型，即 OP-Deepdive。我们保留大多数与Openpilot 一致的前处理和后处理过程。

在公共数据集和真实场景进行了广泛的实验，以评估重构模型的性能。在现实世界的测试中，我们提出了一个双模型部署框架，成功地在设备上运行我们自己的模型。结果表明，原始Supercombo和我们重新实现的模型OP-Deepdive在高速公路场景上的表现都很出色，但不太适用于街道场景。在定量指标方面，我们的模型与原始Openpilot模型表现一致。车端性能测试进一步表明Openpilot适用于封闭道路，在ADAS等驾驶辅助系统方面表现出色。本文的贡献如下: