上岸自动驾驶多模态大模型！自动驾驶VLM真正重要的是什么？

最新推荐文章于 2025-04-29 22:44:29 发布

自动驾驶之心

最新推荐文章于 2025-04-29 22:44:29 发布

阅读量147

点赞数

文章标签：自动驾驶人工智能机器学习

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247661322&idx=3&sn=bf2b58d7160b120ba3aa829eeb2fade7&chksm=cfca190189a4c7b3f029709b5a8d7890d8e059a7836141fad989fa0c3d79fa08b4ba1cb086f5&scene=126&sessionid=0

版权

年后开始春招了，近期集中投递了自动驾驶大模型岗位，被面试官强度拉满了...不仅问到了很多大模型的基础，从通用大模型到大模型微调，再到自动驾驶多模态大模型全方面被拷打，尤其是对近期爆火的强化学习、思维链刨根问题，再到VLA进行了很长时间的讨论。

国内的理想汽车暂时走在前列，去年已经落地了VLM+E2E，近期传闻开启集中封闭攻克VLA。基于思维链的决策解释如何构建、VLM强化学习的必要性探讨以及VLA可能的落地方式，如何把轨迹接入VLM，单模输入多模输出有什么问题。和业内大佬们聊了挺多。

除此之外还有很多自动驾驶大模型的工作，之前我自己跑过DriveLM，面试官还是比较感兴趣的。聊下来，面试官非常关心有没有私有数据集的搭建经历，如何收集数据、设计prompt模板，毕竟业务模型最核心的还是数据。

今年一个非常明显的趋势，大模型正在加速自动驾驶落地，L3级别的自动驾驶路线图愈发清晰。智能座舱和具身智能这块也是当下非常火爆的方向。未来大模型除了量产上车之外，像数据挖掘、标注等等应该都值得进一步探索。

拼团优惠！优惠立减170~

这里也推荐下自动驾驶之心的多模态大模型课程，课程从通用多模态大模型，到大模型微调，最终在聚焦在端到端自动驾驶多模态大模型，基本上面试的东西课程里面都有介绍。课程大纲如下：

课程内容一览

第一章：多模态大模型介绍

第一章主要介绍多模态大模型的基础概念，在整体上帮助同学们了解多模态大模型，打开大模型之路的大门。老师从多模态算法的概念出发，延伸到多模态大模型的结构&训练范式及公开数据集的介绍。在整体上对多模态大模型有一定了解后，我们会进一步聊聊实际的应用场景，让大家对未来可能从事的工作方向和工作内容有一定的了解，最后老师会介绍咱们课程的整体框架及预期的实战学习成果。

第二章：多模态大模型的基础模块

第二章正式进入多模态大模型的基础模块学习。老师会首先介绍多模态大模型的整体架构。模态编码器是什么？Input Projector有什么作用？LLM Backbone是什么？Output Projector又用来做什么？最后的Modality Generator又如何应用到具体的模态生成？在这一章都会得到解答！

第三章：通用多模态大模型

第三章聚焦于通用多模态大模型的讲解与实战。作为多模态大模型下游应用的基石，可以说没有通用多模态大模型的蓬勃发展，就不会有当下大模型应用百花齐放的局面。这一章节老师选取了五个算法展开详细介绍：涵盖了图文理解、视频理解、任意模态、轻量大模型以及实战-统一视觉任务大模型算法，即兼顾了学术界又兼顾了学术界。这一章老师将会带领同学们真正进入多模态大模型的世界。

实际效果：

第四章：多模态大模型微调与强化学习

第四章则聚焦于业内应用最广泛的微调与强化学习技术。如果把通用多模态大模型比作大树的枝干，那么微调技术则是大模型开枝散叶的核心技术。这一章老师首先会做一个训练策略的概述，微调到底微调个啥？接下来则会进入六篇论文的精讲和实战，涉及Adapter、LoRA、QLoRA、Reward Model+PPO、KTO和实战算法DPO，这一章仍会兼顾学术界和工业界，学完这一章，你将有能力训练面向特定业务需求的多模态大模型。