作者 | 李安琪 编辑 | 36氪汽车
点击下方卡片，关注“自动驾驶之心”公众号
戳我-> 领取自动驾驶近15个方向学习路线
本文只做学术分享，如有侵权，联系删文
“要么拥抱端到端，要么几年后离开智驾行业。”
进入智驾行业数年，智驾工程师秦风（化名）原本已经适应智驾行业激烈的内卷节奏。但当新技术“端到端大模型”来临时，他觉得首先被冲击的可能不是人类司机，而是作为工程师的自己。
这种焦虑并非秦风独有。不少智驾工程师告诉36氪，为了学习新技术，他们在工作加班的间隙看起了行业最新论文、去B站听课，有的甚至从研究生课本开始学起。
“端到端大模型”是今年智能驾驶行业的最新技术炸弹。
今年1月，特斯拉面向普通用户正式推送了 FSD（自动驾驶软件包） v12 的测试版本。该版本采用了端到端网络方案，不少用户称效果经验，比之前的v11版本要拟人得多。
马斯克曾介绍端到端的能力，称之为“图像端输入，控制端输出”。尽管多位行业人士向36氪表达，他们不相信特斯拉端到端方案在实操层面如此激进与神乎其技，但端到端依然如蜜般驱策着国内同行。国内玩家逐渐相信，在大模型、大算力、海量数据的驱动下，AI系统会像人类一样开车。
嗅到新的技术风潮，国内的车企与头部智驾公司已经付诸行动。华为、蔚小理、比亚迪等头部玩家都投入了团队与资源推进端到端方案；理想与蔚来两家车企，还成立了专门的端到端大模型部门，以更快推进技术落地。
高端人才的争夺也在明暗处涌动。在第一款车推向市场之际，为追上智驾进度，小米汽车挖来了前图森中国CTO王乃岩加盟。还有智驾行业人士告诉36氪，华为智驾甚至通过相关专利来锚定人才，做定点挖掘。
新方案的确在引燃国内市场。但这枚硬币另一面是，端到端强依赖于数据驱动，而非大量工程师的人力堆叠实现。特斯拉300人左右的团队规模，被当成范本在头部玩家之间传播。
然而行业现实是，当下头部玩家的智驾团队，人才规模几乎都是千人级。追赶智驾中的老牌车企比亚迪，有达3000人的软件团队，华为智驾团队人数也不遑多让。行情好的时候，工程师们普遍能拿到年薪百万的薪资包。
但不少智驾工程师都相信，如果端到端方案效果被进一步验证，车企智驾团队裁员将是大概率事件。
“200-300人都用不上。”一位前新势力车企智驾骨干坚定地对36氪说道。甚至深度学习背景的应届生，可能都比一些智驾工程师进入端到端项目更有优势。
一些智驾猎头也明显感受到了行业的人才满溢：车企智驾团队不再放出新岗位，人员开始要精简，“很多挂着的HC都是僵尸岗。”在一位猎头的最新动态中，他已经切换赛道，转而替机器人公司招揽人才。
「被堵在门外的工程师」
智驾工程师田炜（化名）告诉36氪，这场新技术变革中，比起感知模块、预测模块，规划控制模块的工程师受到的冲击会更大。
这主要因为端到端方案与传统智驾方案有明显差异。传统方案分为感知、定位、地图、预测、规划控制等多个模块，模块功能实现基本由工程师的代码驱动。感知、规划控制两大个部门的人员，往往占智驾团队人数大头。
但端到端方案的特点是，从工程师的代码驱动，变成了数据驱动。最理想的方式是，给系统输入图像，系统可以直接输出车辆的控制，中间的环节都由AI神经网络来完成。
从国内头部玩家的进度来看，引入端到端方案后，传统方案的多个模块通过AI神经网络改造，正在被整合成2个大网：感知大模型、预测决策大模型。“当下很多的方案都是在感知大模型的基础之上，接入一个预测规划大模型。”
更进一步的方案，会将感知预测决策规划集于一体，行业称之为“One Model”（一个模型）。
而新的技术路线，也对车企智驾团队有了全新的人才画像。
有智驾人士告诉36氪，端到端团队需要的人数变少，但人才门槛要求变得更高了。大模型本身要求团队有很强的深度学习背景，“搭建方案阶段，更需要很强的infra（基础架构）人才，对感知、规划控制每个模块都有深刻认知，了解不同芯片算力平台的支持力度、不同AI推理框架等。”
但负责模型搭建与训练人只占很小一部分。“可能团队90%的人都是在为端到端提供数据，以及数据闭环工具链支持等。”
“大模型本身就是一个很精干的团队。”有智驾人士说道。这也是OpenAI等AI科技公司早期仅有200-300人，但也能推出大语言模型ChatGPT，改变全球AI进程的原因。
对工程师而言，端到端技术带来的冲击也深浅不一。
有智驾人士告诉36氪，感知、规控两大模块中，感知大模型原本就依赖深度学习技术。尽管视觉检测路线从过去的CNN卷积神经网转向了基于Transformer的BEV，但工程师们的受到的影响并不大。
但对规控工程师而言，如果要加入端到端，几乎是重新切换赛道。有智驾人士告诉36氪，传统的规控工程师主要有几个方向：路径预测、路径优化、规则后处理，以及车辆控制。“都是蛮细分的学科，基本不相关。除了路径预测模块之外，其他方向的工程师基本没有深度学习背景。”
智驾工程师田炜告诉36氪，规控的人如果想转端到端，一个方向是模型训练本身，但需要很强的深度学习背景。“有可能研究深度学习的应届生，对模型的理解都比你好。”
其次，是数据挖掘和处理，为端到端提供数据养分。“但如果工具链的基建搭建完成，模型大概结构稳定之后，也可能不会再需要人。”最后是模型后处理，端到端大模型输出的轨迹不可信，仍需要一小部分工程师要写规则兜底。
工程师们的焦虑也来于此。“一方面是，端到端大模型本身不需要这么多人。另一方面是，大家都想做端到端，但公司的量产业务需要有人运转。”
一位智驾员工也因为公司当前的量产项目，错过了进入端到端项目组的时机而懊恼。但他也很纠结：即便进入端到端方案中，也是为新的方案兜底，但这不是核心的大模型本身岗位；
而如果留在现在的量产项目岗位，可以积累一段完整的智驾量产项目经验，未来几年也还能流向传统车企。
但另一种险境也会到来，一旦端到端方案向全行业普及，那么他积累多年的技术栈在几年后也会面临淘汰的风险。“可能就要离开智驾行业。”
「技术分野、资源游戏」
为了转入端到端项目组，工程师田炜直接从深度学习的研究生课程开始看起。
他找来深度学习的经典课程，以及一张显卡，对着课本上的实战课程，去实现一些简单的图像识别算法。“至少先把知识点吃透了，才能知道模型本身是怎么运转的。”
看书、实践训练两个月后，田炜才稍微感觉自己能看懂一些端到端大模型开源代码。 他已经向公司申请，调入端到端项目组。
事实上，不只田炜焦虑，田炜所在智驾公司比他更焦虑。他告诉36氪，其公司与一家车企合作开发智驾量产方案，但车企内部也有团队在推进端到端，“整个公司就很焦虑，也早就启动了端到端计划。”
田炜表示，据公司了解，只要上千小时的视频数据，就可以训出来一个端到端demo，而这个量级的数据公司基本能搞定。
但田炜很清楚，以公司现有的资源，最多也只能支撑训练出来一个端到端demo，证明方案可行。从demo到量产，中间还有相当大差距。
而这场新技术的分野游戏，会最先体现在资源分野上。
特斯拉CEO马斯克就曾强调过数据对端到端的重要性：“用100万个视频case训练，勉强够用；200万个，稍好一些；300万个，就会感到Wow（惊叹）；到了1000万个，就变得难以置信了。”
另一方面是算力资源，马斯克还大肆采购了英伟达的显卡训练，称到年底其人工智能训练算力将是9万张英伟达H100的等效算力。算力的储备与需求惊人。
这个门槛相当高。对于至今仍然赚钱艰难的智驾公司而言，一方面是不与车企合作，智驾公司的训练数据很难光靠自身采集得到；另一方面，云端的训练芯片在国内一卡难求，不少车企都在高价收购。“量产项目与融资都还不明朗，很难长期投入端到端。”
而另一位智驾工程师也感受到了无奈。在开发端到端项目小半年后，他接到了公司的通知，暂停端到端项目。原因是公司要集中精力与资源去开发当前的城市无图智驾方案，“端到端要消耗的资源太多了”。
该工程师感到可惜的是，他所在团队做的端到端demo已经可以上路了。团队最初还是奔着对标特斯拉的FSD而去，甚至还花了大力气去搭建工具链等基础设施建设。但随着公司端到端战略的暂停，团队的研发重心已经转向了新的领域。
端到端新技术未在国内真正落地，但对智驾行业的人才结构重塑、生态格局的冲击都已经开始显现。
尽管如此，头部玩家还是会想尽办法挤上这趟具有颠覆性意义的快车，而掌握数据资源、芯片资源、人才资源的巨头时代会到来。
（秦风、田炜均为化名。）
投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！
① 全网独家视频课程
BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）
② 国内首个自动驾驶学习社区
国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）
④【自动驾驶之心】全平台矩阵
扫一扫
250
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
