端到端自动驾驶到底给特斯拉带来了什么？

自动驾驶是一个复杂精细的集成系统，以往自动驾驶系统涵盖环境感知、地图定位、决策规划、控制执行等多个模块的online（在线）系统。每个模块分工明确各司其职，使得自动驾驶车辆能够实时感知周围环境，做出决策并规划出安全路径直达目的地。但是这种模块化的系统往往依赖繁杂冗余的后处理逻辑，代码量十分庞大，往往数十万行甚至上百万行！面对成山的历史代码，谨慎的算法工程师一般只敢小修小改，生怕捅出篓子，更不要说代码精简或是重构。

而CVPR'23 Best Paper—UniAD问世之后，自动驾驶迎来了革命性的一刻：端到端自动驾驶！像特斯拉的FSD v12直接把代码量从30多万行干到2000行。这就是端到端自动驾驶的魅力！

那么何为端到端自动驾驶？顾名思义，网络输入传感器采集的原始信息（如图像、Lidar），直接输出车辆的控制信息（左转、右转、直行、加减速等）。当前主流的端到端方法主要有两类：一类是UniAD，直接将感知、预测和规控都纳入一个网络学习，网络输出车辆的控制信号；另一类是结合大语言模型实现端到端的方法，最近也集中爆发了很多工作，比如LMDrive/DriveVLM等。

端到端自动驾驶待遇如何？

自动驾驶之心从某招聘网站上获得的最新岗位信息（自动驾驶大模型算法）截图，可以很清楚地知道企业对端到端/大模型岗位的要求，年薪更是高达百万！可以说端到端自动驾驶正是当下行业的最前沿，也是未来落地的最前沿！

端到端自动驾驶的难点在哪里?

当下端到端自动驾驶的发展路径还没有完全统一，就自动驾驶之心得到的消息而言，UniAD类方法已经有公司尝试在落地量产！！！这类算法对数据有着更高的要求，感知预测规控的一体化标注如何做？模型在真实数据中如何有效训练？复杂路况的真实表现能否媲美模块法方法？这是挑战，更是机遇！！！

而基于大语言模型的端到端方法，则更是挑战中的挑战！理想最新的DriveVLM更是直接部署上车，一切的一切都在瞄向落地！

反观所有的端到端方法，对我们的要求不再仅仅是专精某一领域。感知是什么？预测是什么？规控是什么？大语言模型是什么？所以说端到端真正的难点在哪里？是全栈！！！

前沿的论文的讲解，端到端一把搞定

自动驾驶之心在深入调研业内和学术界的相关信息后，针对下一代自动驾驶量产算法，开发了《端到端自动驾驶论文带读》课程。本课程将从CVPR'23 Best Paper—UniAD开始，逐步讲解近两年优秀的相关工作。针对端到端的两大类方法，探讨各自方法的优缺点，从科研和量产的角度给出独有的见解。精选论文如下：

讲师介绍

Jason：自动驾驶行业top公司资深算法工程师，中科院博士，在计算机视觉领域有丰富的科研和业务经验，在CVPR，ICCV，ECCV等会议或期刊上发表多篇论文，学术引用量2000+。

适合人群

1. 计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士；

2. 自动驾驶感知、规划、端到端等方向算法工程人员；

3. 对端到端自动驾驶有着高度认可的童鞋，想要了解端到端自动驾驶的中高层管理人员；

4. 想要了解自动驾驶前沿和转行入自动驾驶领域的人员；

本课程需要具备的基础

1. 计算机视觉或机器人相关背景；

2. 了解transformer的基本原理；

3. 对自动驾驶的某项任务，如3D检测/BEV感知/LLM有基本认识；

学后收获

1. 深刻理解端到端自动驾驶的研究现状，洞察未来发展趋势；

2. 对transformer和端到端技术及其在自动驾驶领域的应用更加熟悉；

3. 更好地将transformer和端到端的思想应用在自己的业务或科研项目中；

4. 提升对学术文献的阅读能力，提升科研思考能力；

5. 潜在的实习/工作机会，潜在的科研辅导机会；

开课时间

2024年4月22号正式开课，加入我们一起学习，开课后2至3个月结课，离线教学，微信群内答疑（交流环境非常好，非常重要的部分）！

课程咨询

版权声明

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！

投诉微信：AIDriver004(备注：盗版举报)