“端到端”渐行渐近，自动驾驶迎来新时刻

2024年3月，特斯拉在北美地区正式推送FSD V12版本，最大卖点是端到端神经网络模型上车。

相较于过往技术路线，端到端技术通过深度学习模型，从原始传感器数据中直接提取信息，简化了过往繁杂的自动驾驶系统架构，在实现感知到控制无缝连接的基础上，极大提升了系统的响应速度和环境适应性。

鉴于端到端方案在复杂城市环境中展现出的高适应性和高可靠性，国内包括华为、小鹏、理想、蔚来、商汤科技、元戎启行等众多主机厂和智能驾驶技术公司纷纷入局，端到端方案迅速成为自动驾驶业内关注的焦点。

一、端到端是什么?

在深度学习中，端到端的英文翻译为“End-to-End(E2E)”，指的是一个AI模型，只要输入原始数据就可以输出最终结果。

在自动驾驶领域，端到端模型将原本感知、预测、规划等多个模型组合的架构，变成了“感知决策一体化”的单模型架构，这意味着通过摄像头、雷达等传感器获取的数据，在单模型架构中直接生成控制车辆的指令，省去了传统系统中多个独立模块之间的复杂信息传递过程。

率先提出端到端方案的是英伟达。2016年，英伟达发布了一篇名为“End to End Learning for Self-Driving Cars”的论文，以CNN搭建了一套端到端自动驾驶方案。

但真正带火端到端并最先将端到端技术方案应用到量产车型上的是特斯拉。而在该方案落地前，特斯拉自动驾驶技术方案历经了多代版本更迭：

2018-2019年特斯拉通过多头结构HydraNets算法解决了自动驾驶目标检测的多任务问题；2020-2021年推出了BEV+Transformer大模型算法，构建俯视角全景图，解决了2D-3D空间转换和感知性能问题；2022年引入占用网络，具备感知一般障碍物的能力；2023年特斯拉正式提出端到端方案，直接将传感器信息输入神经网络，提高感知和决策规控整体性能。

2024年3月，FSD V12版本正式推送。在该版本上，特斯拉不再将自动驾驶系统分为感知、决策、执行等众多模块，而是整合成了一个神经网络。相比较于FSD V11，FSD V12创新性地采用了端对端神经网络技术，可以更好地理解和处理复杂驾驶环境，减少驾驶人员的干预，提高自动驾驶的精确度和自动化度。

具体而言，FSD V12版本具备如下特点：

1）端到端神经网络技术：FSD V12采用了端到端神经网络技术，大模型仅需输入视频进行学习，无需单独编码。决策阶段不需要事先人为编写控制规则，只需要输入大量视频交给NN学习，就能实现自主决策。这使得自动驾驶系统可以直接从车辆道路视频数据中学习，增强了系统的自动化水平；

2）减少代码量：与此前版本相比，V12版本告别传统的规则驱动，驾驶决策交由AI算法生成，因此实现了大幅减少代码量，大约30万行的C++代码从后端被删除；

3）数据驱动的决策规划：V12版本不再依赖人工编码，而是通过提供训练数据让人工智能自主学习驾驶行为。这种数据驱动的方法不仅提高了系统的智能化水平，还实现了在没有网络的情况下仍能安全运行；

4）摄像头数量和清晰度：为了提升感知能力，V12版本增加了摄像头数量并提高了摄像头清晰度，每个摄像头拍摄速度可达每秒36帧，实际运行速度可达每秒50帧；

5）功能体验升级：V12版本在功能体验上实现了跨越式提升，能够处理各种复杂corner case，如可绕开施工封闭路段、识别异形障碍物、识别地面积水等。此外，还具备Autopark泊车功能，可实现平行停车等，并增强了对红绿灯和含文字路标等的识别和理解能力。

端到端自动驾驶技术因其无损传递、数据驱动、全局优化的特性，展现出相对于模块化自动驾驶的应用潜力与相对优势，目前国内众多主机厂和智能驾驶技术公司也纷纷进行跟进：

·小鹏汽车在“AI DAY”上宣布将向用户推送基于端到端大模型的智能驾驶和智能座舱系统；

华为在智能汽车解决方案发布会上，发布了以智能驾驶为核心的全新智能汽车解决方案品牌——乾崑，并推出采用端到端架构的ADS 3.0；

理想汽车在智能驾驶夏季发布会上发布了端到端自动驾驶技术架构；

地平线发布了SuperDrive全场景智能驾驶解决方案，使用了动态、静态、Occupancy三网合一的感知端到端架构……

一时间，各大车厂与技术方案提供商纷纷卷向“端到端”。那么“端到端”方案究竟有什么魅力呢？

二、端到端技术的优势

相较于过往技术路线中，感知、决策、控制等各个独立模块以流水线式架构进行拼接的方式，端到端技术采用整体化神经网络，将原本感知、预测、规划等多个模型组合的架构，变成了“感知决策一体化”的单模型架构。

在模型的一端输入感知信息，另一端直接输出轨迹或者控制信号，实现对整个驾驶行为的“融会贯通”，这样带来的优势十分显著：

1）简化系统架构，信息无损传递
传统的自动驾驶系统通常由多个模块组成，包括感知、预测、规划和控制等，这些模块需要协同工作。当人为定义的抽象指标并不能细致描述场景时，下游模块只能根据有限的信息做判断，容易出现信息传递的噪音和误差累积问题，造成错误结果。

而端到端模型通过整体化神经网络将所有功能整合在一起，全部传感器感知到的数据都会被收集，只要数据足够，模型会自动学习并处理相应问题，并直接从输入数据生成输出控制命令，极大简化系统结构，提升计算效率。

2）数据驱动，性能上限更高
传统模块化算法依靠工程师手动处理长尾场景，但随着城区NOA的落地，长尾场景处理成为主流，数据体量显著增大，造成数据处理效率的逐步下降。而端到端模型基于大数据和深度学习技术，完全由数据驱动，减少了人工干预的比例。

模型能够从大量真实驾驶数据中学习到人类驾驶行为，并进行全局优化，使驾驶行为更加拟人化，从而降低了人为偏见的影响。这种数据驱动的方法让模型更加客观和公正地处理各种驾驶情况，这不仅提升了驾驶体验，还增强了系统的适应性和鲁棒性。

3）提升计算效率
传统模块化算法中，数据信息在各个模块传递之间不可避免会出现误差问题，例如标定误差、定位精度误差、控制误差等，这些信息最终会在下游累积。同时，模块之间的信息传递与计算也需要花费额外时间，应急处理能力较弱。

由于端到端模型只需处理一次数据转换，避免了传统方法中的多级编解码过程，因此可以减少计算冗余，提升整体算法运行的效率。此外，端到端模型能够更高效地利用算力和数据进行训练，进一步提升系统性能。

4）面向整体进行全局优化
传统模块化算法中，每个模块都需要工程师定义目标并进行优化，可能出现局部最优但整体效果差的情况。端到端模型则对整个流程进行优化，以最小化整体损失函数为目标，更加准确地更新每个网络层中的参数，以使体验达到最优状态。

三、端到端技术的挑战

相较于过往方案，端到端技术几乎拥有跨代般的优势，但这种优势的建立却并不轻松。

端到端方案一个很重要的特点就是将原有的多个模型组合的架构，变成了一体化的单模型架构。传统模式下，海量碎片化corner case的处理依赖的是工程师的不断定义。而端到端方案则完全由数据驱动，换言之，智驾方案从工程师密集型转向数据密集型。

端到端方案对数据需求量有多高，目前暂无一个明确的数字，特斯拉在端到端神经网络开发伊始，共投喂了1000万个经过筛选的人类驾驶视频片段，视频总小时超过4万小时，后续供进一步筛选的人驾视频又以1600亿帧/天的速度增加，数据整体规模堪称海量。

除数据需求体量几何级增长外，数据质量要求同样水涨船高。端到端智能驾驶学习的是驾驶行为，需要极其庞大的高质量数据支持，包括多样化的道路场景、天气条件以及交通行为样本。此外，还需要处理来自多种传感器的数据（如摄像头、雷达和激光雷达），以实现对环境的全面感知。这要求系统能够有效整合不同模态的信息，以提高决策的准确性和鲁棒性。

训练数据的重要性，在端到端技术逐渐成为主流的当下，得到前所未有的提升。数据量、数据标注、数据质量、海量数据的存储与管理都可能成为限制端到端应用的挑战。

作为行业领先的AI基础架构与数据智能平台服务商，曼孚科技始终专注AI数据服务领域，核心产品包括DaaS数据标注平台、数据管理平台、AutoLabeling平台、模型训练平台以及大模型标注平台等，提供从数据准备到模型应用的端到端解决方案。

数据处理方面，MindFlow SEED数据服务平台是国内较早成体系、大规模商用的自动驾驶数据标注平台产品。平台以AI+RPA能力为核心，支持自动驾驶等场景下2D、3D、4D全类别标注，如2/3D融合、3D点云分割、点云时序叠帧、BEV、4D点云车道线、4D点云分割等。

此外，平台还提供超过4000+的功能模块，包括点云AI实景渲染、点云实时配准叠帧、连续帧追踪标注、平铺视图、自定义python脚本可视化、系统自动校验等，支持亿级点云渲染，有效满足海量corner case数据处理的迫切需求。

数据管理方面，曼孚科技数据管理平台提供数据托管、可视化、版本管理、数据交易等服务，有效解决端到端方案下海量多源异构数据存储流通等问题，提高数据使用与管理效率。

目前，曼孚科技已服务自动驾驶领域上百家企业，包括主机厂、造车新势力、Tier1、算法公司等，在端到端数据服务领域积累了丰富的执行与交付经验，为端到端模型的训练与调优提供了充足的燃料。

未来，曼孚科技将进一步完善数据闭环能力，扩展对多模态数据集的开发与处理规模，支持端到端方案早日实现规模化商业落地。