2024下半年，『端到端』会迎来实质性突破吗？

2024上半年即将结束，纵观自动驾驶业界和学界，端到端无疑热度最高，从特斯拉全面推送FSD v12，再到北京车展多家车企竞相官宣，包括商汤UniAD的上车首秀、小鹏的智驾升级，端到端冲破了模块化的规则和代码，凭借数据驱动、全局最优、信息无损的优势，下半年极有可能迎来行业全新转折点！

为了帮助大家全面了解端到端技术，研梦非凡于6月11日（周二），邀请了大厂资深算法工程师李导师，为大家独家详解《End-to-end Autonomous Driving》（AI前沿直播课NO.47），回顾分治到自治，解析端到端竞赛测评、相关算法，重点介绍CVPR 2023最佳论文（UniAD），以及业内知名案例，从理论创新到项目突破，1节课入门速通自动驾驶端到端！

👇🏻扫描二维码找助教0元预约直播课！

（凡预约即可领取端到端必读论文34篇+自动驾驶顶会论文85篇！文末还有算力等科研福利！）

直播课内容概览

01 自动驾驶传统Pipeline

1. 传统Pipeline：分治

• 地图绘制和高精地图绘制、感知、定位

• 行为规划、路径规划、决策、控制、仿真和测试

1. 传统Pipeline的问题

02 端到端自动驾驶概述

1. 系统定义

2. 优势和风险

3. 系统特点：data centric

4. 端到端自动驾驶的挑战

• 数据（采集策略、数据质量、数据分布）、算力、算法

• 验证（开环、闭环）、可解释性、车端部署

03 竞赛与评测

1. 竞赛

• CVPR 2024、2023

• NeurIPS 2022、2021、2020

1. 闭环评测

• 模拟器及特点

• 数据集

• 三个子任务（参数初始化、交通模拟、传感器仿真）

1. 开环评测

• 优点与缺点

• 数据集

04 相关领域

1. 模仿学习

• 定义及优缺点

• 两种方法：Behavior Cloning (行为克隆)、Inverse Optimal Control (逆向最优控制)

1. 强化学习

• 定义及优缺点

• 与强化学习的区别

1. 视觉抽象

• 预训练视觉编码器、语义分割mask

• 注意力图和深度图、泛化性

1. 因果混淆

2. 可解释性及实现方式

• Attention可视化、可解释的任务、成本学习

• 语言的可解释性、不确定性建模

1. 输入语言

2. 世界模型和基于模型的RL

05 技术详解（重点）

1. 端到端自动驾驶：关键成就的时序路线图

2. UniAD：第一个全面研究自动驾驶领域感知、预测和规划等多种任务联合合作的作品

3. UniAD模型结构

• 整体介绍

• 感知模块：TrackFormer、MapFormer

• 预测模块：MotionFormer、Occupancy Prediction、OccFormer

• 规划模块：Planning，query连接pipeline

1. UniAD实验结果

2. UniAD的问题：耗费算力、部署较难

06 业界案例

1. 毫末智行

• 拆分端到端大模型，2个阶段：分别解决感知及认知问题，降低训练难度、降低数据成本

• 建立自监督感知大模型

• 引入大语言模型

1. 英伟达

• 树结构的策略规划 (TPP) 2023：与先进深度学习预测模型兼容，用于多阶段运动规划

• 可微分的树策略规划 (DTPP) 2023：优化了自车条件预测和代价模型

07 结论与展望

1. 挑战和未来趋势

2. V2X系统与端到端协作：可能成为下一代SOTA方法

3. 大语言模型（LLM）：通过与LLM交互，可获取常识

4. 零样本与少样本学习：缺少标注数据时也能有效应对各种场景

5. 模块化端到端规划：具有较强可解释性

6. 数据生成：借助扩散模型进行图像生成

7. 数据引擎：高质量大规模数据生成

导师简介

李导师

【个人背景】大厂资深算法工程师，拥有多次获奖经历，ACM Multimedia Oral论文一作。主要研究方向为图像视频增强、多模态内容理解与数据合成等。

【项目经历】在生成式模型领域具备丰富的实践经验，曾带队做过图像风格转换、图像/视频增强、人脸修复、图像/视频质量评价和自动驾驶感知数据合成等项目。

直播福利

参加本次直播的同学都将获得1小时导师meeting的福利（助教+导师）！原价2999，限时福利价9.9元！活动时间为6月11日到6月30日。

ps：研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松完成论文报告。

👇🏻扫描二维码找助教0元预约直播课！

研梦非凡科研论文指导

如果你的研究方向/方法/idea是属于CV全方向/NLP全方向/机器学习/深度学习及AI+金融、医疗、交通等方向，如果你需要发CCF A-C、SCI一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等，都可以来研梦非凡，匹配合适的科研指导。

（下面是我们根据自动驾驶之心粉丝需求，整理的现有idea！）

自动驾驶方向现准备好的idea

👇🏻扫码找助教了解更多/验证自己的idea是否可行

研梦非凡科研论文指导方案

科研论文idea，并非拍脑门就能产生，需要经过一遍遍做实验、跑代码、改模型、思路修正。研梦非凡专业论文指导，和研梦导师一起找idea，共同解决科研问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

研梦非凡部分导师介绍

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

研梦非凡科研福利

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟数十节前沿论文直播课程免费领

🌟50小时3080GPU算力免费领

🌟百篇6月论文资料大合集免费领

🌟本号粉丝报名1v1科研论文指导减学费！ 

👇🏻扫码领取以上6重粉丝专属科研福利！