自动驾驶行业需要大模型吗？

作者 | 十字甫  编辑 | 汽车观察者联盟

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

后台回复【数据集下载】获取计算机视觉近30种数据集！

当下最热门的两个话题，一个是人工智能行业的大模型ChatGPT，另一个是汽车行业的自动驾驶，看似不太相关的两者之间却有相似的地方，ChatGPT是一个通用的语言生成类模型，可用于各种任务，包括自然语言处理、文本生成和语言翻译。ChatGPT将改变人类获取知识的方式，从而影响人类的生产方式，而自动驾驶将改变人类的出行效率，从应用效果上两者都可以在空域和时域上提高人类社会的运行效率，从技术的通用性上两者都是数据、算力的集大成者。两个领域有相似性必定带来人才的相互流动，自动驾驶行业的人想进入人工智能行业探索智能，人工智能行业的人想再造自动驾驶让汽车变得聪明。另外在特斯拉汽车的影响下，自动驾驶的技术迭代逐渐向大模型，大算力、大数据方向不断靠近。然而，不断地逼近和等于完全是两回事，例如1+½+⅓+¼……和2在数学理论上是完全不同的。所以通过数据的迭代和模型的参数的提升实现无人驾驶将会是个伪命题，同时也可以证明，在应用领域通过渐进式的路线永远达不到预想中的无人驾驶。

人工智能的影响涉及到各行各业，同样产业端的应用反作用人工智能技术的进一步发展。2006年开始以深度学习为主力的人工智能技术再一次掀起科技的浪潮，然而深度学习有一个阿喀琉斯之踵就是不会像苹果手机的图形操作或者互联网一样改变人类的交互和消费习惯，需要一个类似破城锤的产品应用，更多的是扮演一种背后的科技基础支撑。脱胎于深度学习大模型的ChatGPT即为支撑基础之上绽放的一花朵，ChatGPT也是人工智能领域突破性的进展，可以大大提高以往机器学习的效率，尤其在文字产出方面具有非常高的应用价值，但是AI大模型的出现并不等于社会运行范式的转移。既然是科技的花朵那么行业内外的企业都可以看到，于是各大互联网公司、半导体公司纷纷投入大量资源进入大模型领域，俨然训练通用大模型成为新一轮科技的军备竞赛，华为的盘古、百度的文心、360的智脑、阿里的通义千问、腾讯的混元等等，除此以外还有一些躬身入局在大模型领域创业的个体。无论是多么花哨的名字，大模型主要有几点，第一海量的数据；第二大规模的算力；第三模型要么针对不同的任务需要调整，代表为谷歌的BERT，要么不用微调直接上手使用，典型的代表ChatGPT。

在自动驾驶行业，有一部分自建大模型，例如商汤发布日日新大模型、毫末智行发布自动驾驶生成大模型DriveGPT雪湖•海若；另一部分走联合的路线，例如小鹏汽车联合阿里的大模型建立自动驾驶智算中心、斑马智行接入阿里大模型、众多车企接入百度文心用于语音和对话方面，未来不排除进入自动驾驶领域。可以预见的是，第一在此之后将会有更多的自动驾驶公司会发布大模型，试图从大模型的角度解决自动驾驶的数据长尾问题，继续进行高阶版的1+½+⅓+¼……运算；第二大模型确实会在自动驾驶领域数据处理方面带来一定的效果，但不是迈向无人驾驶的阶梯。原因有几点，首先从大模型的初衷看，作为科技公司的Open AI发布GPT目的是利用人类现有的知识体系去探索机器智能的极限，这是一个不断变化和前进的过程，而自动驾驶是解决人类出行中的不确性问题，包括认知的不确定和随机的不确定性，利用不确定的方法理论去解决不确定性的问题得到仍然是一个不确定的结果；

其次是大模型的基础原理创新不足，这一点从ChatGPT火热后国内企业雨后春笋般出现的速度中可以窥见，大家发布的大模型方法大同小异，暴力堆算力提高训练参数量；最后是关键的成本问题，这个不仅仅是金钱的成本，还包括时间和碳排放的成本，羊毛出在羊身上成本的提升无形中提高了自动驾驶研发和使用的门槛。自动驾驶公司自建大模型需要具备分布式训练、模型蒸馏、部署等等能力，需要的不仅仅是技术理论还有工程能力，除了资金的投入还有相关人才的投入， 最后是将自动驾驶行业的know-how融入到大模型训练的能力。在这个“烧钱”的过程中，首先问题是自动驾驶公司能投入多少资源；其次是自动驾驶公司的初心是否依旧，是以大模型为主的智能化的大平台还是自动驾驶落地的产品？最后从商业的角度来看，自动驾驶技术的最大应用场景是面对C端的乘用车市场，而大模型无论是作为产品还是公司面对C端市场比较困难，这一点是国内和国外最大的不同之处，国外的ChatGPT从研发期进入使用期，用户数据开始积累生态占据先发优势，即使再造一个GPT也很难超越，从其发展的过程中可以看出商业模式主要是API、订阅服务和面向B端打包进其他公司产品中收费，而在中国互联网企业林立，大模型众多，相比于C端需要时间和数据的积累，所以B端是一条不错的道路，也就是说未来国内大模型公司主要客户将会是面对B端，国内最大的B端客户大家都懂的是谁。这就导致了大模型的商业模式和自动驾驶公司的商业模式在产品形态会出现分歧。

无论是语言生成类大模型还是自动驾驶公司做的感知大模型，大前提都是数据和算力。假设设想的无人驾驶目标是计算数值2，那么是做1+1=2还是1+½+⅓+¼……≈2，大模型理论上可以将更快地实现数据的训练和推理，参照ChatGPT，其数据来源主要是互联网上的大量文本数据，包括各种类型的文本，如新闻文章、博客、论坛帖子、百科全书、书籍等。这个问题回到自动驾驶行业，既是有算力和算法支撑大模型的搭建，那么训练的数据从何而来，自动驾驶行业较早的谷歌无人驾驶从2009年至今，累计路测里程达到3000万公里，相比互联网的文本数据，自动驾驶行业的数据如同九牛一毛，在数据量不足的情况下盲目的推崇大模型，除了在宣传上有点作用以外，相比一般的模型，短期内大模型的优势无法体现，并且会影响实际C端用户体验和过度的资源投入。

GPT的出现让大模型成为科技行业的热点，但是如果具体的业务和需求融入不到模型中，反而会适得其反，新产品需要创新的支持，但是新技术不一定能爆发好产品，而技术和产品都是为商业模式服务。ChatGPT引发的大模型并不是打开无人驾驶的万能钥匙，大模型也可能不是通向通用智能的唯一道路，只是当人类社会的数据、算力到达一定的规模后出现的一种科技方向。同样的，一旦有了规模整个系统的复杂性和熵值会发生变化，所以随着数据和算力的不断增加的情况下（硬件摩尔定律尚未失灵），自动驾驶行业更应该关注如何处理系统的复杂性，满足丰富的产品需求下优化系统降低复杂性才是新技术的重点目标，而不非不断的增加复杂性，从一个不确定的问题中引入另一个未知问题。大模型是数据驱动模式下智能化的一条路径，而并非唯一的路径，在自动驾驶的数据量不足，感知大模型训练数据集不全将会影响模型的效果，同时，自动驾驶产品作为一个车规级的产品，还要面临数据安全和算法可解释性的设计要求。从大模型的算法移植到嵌入式平台进行知识蒸馏，这个过程也是不可控的，可能在超算中心效果良好，经过稀疏化处理剪裁移植到嵌入式的有限算力平台效果会下降。

所以，在大数据的前提下，利用有限的算力优化算法才是自动驾驶技术落地的核心问题。自动驾驶作为智能化的一部分，也是一个数据问题，数据问题的关键是先有数据。互联网带来的一个价值就是知识获取的公平性，很多数据是公开的，这也为大模型的开发提供了一个良好的数据基础，那么自动驾驶行业相对是一个封闭的数字环境中，数据的来源单一、完备性不足，单一的自动驾驶或者企业首先在数据量方面很难达到量的积累，所以如果自动驾驶行业的大模型要成功，全自动驾驶行业的数据需要像互联网数据一样公开，才有可能像GPT类似探索在自动驾驶领域的智能天花板，语言领域的智能并不能照搬到图像感知领域，理论方法可以借鉴但是构建的要素还是要从贴合行业。

模型不在大，够用就行，科研探索是艺术的延伸，无限的资源下寻找一个方程，而产品开发是利用有限的资源中求解方程的根。就目前自动驾驶行业的现状，利用大模型处理自动驾驶方面的问题有点过于噱头，在数据量和产品化的压力之下，自动驾驶企业与其望山跑马追科技不如勒马定锚在垂直领域深耕，专攻术业。人工智能势必将会对人类的发展产生深远的影响，从基于规则到基于数据学习，人工智能的方法理论也在同步发展变化中，回头看每一个阶段都有各自的优劣势，也正因为这些优劣势才推动行业的不断前进。同样的，对于自动驾驶行业来说，也不断涌现新的方法和理论，经过这么多年的发展会发现一个规律，人工智能的方法解决不了自动驾驶的问题，两者之间有相同的技术点也有不同的地方，如果自动驾驶模仿人工智能行业硬是用超算力模型得出组合结果，然而这不是一个赋能机器或者汽车变聪明的手段。赋能的手段都略显拙劣，更何况产品就可想而知了。

终究一个问题，是为了探索智能还是市场应用产品？是科学还是工程？

往期回顾

史上最全综述 | 3D目标检测算法汇总！（单目/双目/LiDAR/多模态/时序/半弱自监督）

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称