端到端自动驾驶论文小班课来了！面向多任务学习、可解释端到端的全流程科研培养~

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

端到端自动驾驶算法研究课题科研培养计划招生啦

8人制小班（满6人开半）

⼀、课题简介⭐

传统的自动驾驶系统采用模块化设计策略，其中每个功能（例如感知、预测和规划）都是单独开发并集成到车载车辆中的。其中，负责各种控制信息的规划或控制模块在决定驾驶体验方面起着至关重要的作用。然而，模块化流水线中最常见的规划方法涉及使用复杂的基于规则的设计，无法高效应对道路上发生的突发情况。因此，利用大规模数据并使用基于学习的规划作为可行替代方案的趋势日益增长。本课题旨在设计并实现一种多任务融合、多模态融合的自动驾驶感知算法，综合利用各类传感器的优势，实现高精度、高可靠性的端到端自动驾驶。

首先，本课题总结了一系列关键挑战，包括可解释性、视觉表征、多任务学习、策略蒸馏等。最后，本课题还将讨论端到端自动驾驶的未来趋势，以融入数据引擎、大型基础模型等方面的最新发展。

为了验证所提出算法的有效性，课题将构建多种场景下的仿真测试环境，并结合真实道路测试数据进行对比分析。预期通过多传感器融合与先进算法的结合，能够显著提升自动驾驶感知系统在复杂环境下的表现，推动自动驾驶技术向更高水平发展。

关键词：自动驾驶；多任务学习；环境感知；视觉表征学习；策略蒸馏；可解释性学习

⼆、课程⽬的⭐

• 解决只了解零散知识，没有清晰的体系的问题，帮助同学系统掌握指定方向的重点理论知识，同时做适当拓展，让学员对指定方向内容形成更清晰的体系；

• 解决没有方向，动手能力差，无法复现论文，帮助同学将模型理论与代码实践相结合，协助同学开发设计新模型铺垫基础；能让学员将baseline深化拓展，形成自己的论文；

• 解决⽂章不会写、写了不会投的问题，帮助同学积累⼀套论⽂写作⽅法论、获得修稿指导与投稿建议。

三、招⽣⼈数⭐

6⼈/期（⾄多8人）

四、招⽣对象⭐

• 本硕博，希望获取论文创新思路；

• 申硕申博、国外留学，提升简历含金量；

• 有科研需求，想融会贯通的使用算法模型，了解前沿进展和方向；

• 从事人工智能领域工作，想系统提升算法理论，高效掌握算法设计及创新思路，快速了解论文撰写技能；

五、课程收获⭐

经典论⽂、前沿论⽂和代码实现——创新点、baseline、数据集——选题⽅法、实验⽅法、写作⽅法、投稿建议

1. 12周【在线小组科研】+2周【论文指导】+10周【论文维护期】。

2. 获得对经典及前沿的典型论⽂的分析⽅法，理解重点算法与原理、清晰不同算法的优劣势，也促使⾃⼰对研究idea的思考；

3. 即使⾃⼰没有想到合适的idea，也能得到⽼师提供的idea从⽽进⾏后续的研究过程（导师会给每位同学都准备⼀个idea）；

4. 获得Coding能⼒的增强，在⽼师准备的baseline代码和可⽤数据集上更⾼效展开研究和实验⼯作；

5. 获得论⽂写作、⾃查、修改的⽅法论，以及关于投稿的⼀些建议；

6. 撰写出⼀篇论⽂初稿（⾃⼰完全投⼊课程的学习与实践中，将可能会产出⼀篇不错的论⽂）。

六、招生要求⭐

基础要求

• 具备深度学习基础，对于自动驾驶算法有简单了解，熟悉掌握python语法，以及PyTorch的使用。

• 完成与老师在线的1v1面试

硬件要求

• 最好具备8张4090显卡或以上设备性能的机器； 最低不少于4张4090显卡的设备。

• 无设备学生可以租赁云服务器。

软件要求

• 掌握基本的编程语言(python等),具备基础编程能力.

• 使用PyTorch等深度学习框架的调用和调试.

• 最好具备Linux系统下开发调试的能力.

学习要求

• 每周上课前按时阅读相关资料并完成相关作业。

• 作业必须在规定时限内完成。

• 课上积极参与讨论、交流。

• 应该全勤。若晚交作业、上课请假等必须提前1⽇通知班主任和导师并说明理由。

• 保持学术诚信，拒绝剽窃。

• 每次课后⾃学时⻓⾄少1-2⼩时。

七、课程大纲⭐

• 提供数据集：

数据集来自于公开数据集，根据具体的任务来需用。
如本课题的自动驾驶感知任务，可采用较为通用的自动驾驶数据集nuScenes，Waymo，Argoverse等。涉及Occupancy任务，可采用openocc等。

• 提供Baseline代码：

Baseline取决于具体的应用。
基于多任务学习的端到端自动驾驶:

• 必读论文： 老师提供必读论文，帮助学生了解行业前沿科研内容

(可参考课程体系设置整理课程大纲；实际上课内容可结合当期同学情况稍作调整)

参考时间安排：

*以下为参考课表，最终时间安排以实际通知为准

八、服务方式⭐

• 班主任：督学，跟进学习进度，

九、上课平台⭐

• 腾讯会议直播+小鹅通回放

十、Q&A⭐

Q1：我自己有课题，老师可以单独指导我这部分嘛？
A：不可以，老师不会指导非课程安排的方向，但如果方向差不多是可以做迁移的，学完我们的课用自己的数据集进行训练

Q2：课程有效期及服务有效期是多久？
A：授课周期为3.5-4个月，答疑周期为6个月

Q3：我们的课程能交付给学员比较大的价值是什么？
A：学习整体科研全流程+产出一篇论文

Q4：课后老师会在线答疑吗？
A：报名后，会组建班级群；idea阶段会将学员和老师单独建群（毕竟idea是有知识产权的），所有群皆有班主任服务。学员在课后有问题可以在群内提问，老师看见后都会回答。

课程咨询欢迎扫码联系