万字长文说清大模型在自动驾驶领域的应用

交流群 | 进“传感器群/滑板底盘群/汽车基础软件群/域控制器群”请扫描文末二维码，添加九章小助手，务必备注交流群名称 + 真实姓名 + 公司 + 职位（不备注无法通过好友验证）

---

作者 | 张萌宇

随着ChatGPT的火爆，大模型受到的关注度越来越高，大模型展现出的能力令人惊叹。

在图片生成、推荐系统、机器翻译等领域，大模型已经开始发挥作用。给定一些提示词，图片生成网站Midjourney生成的设计图甚至已经超过了很多专业设计师的水平。

大模型为什么可以表现出令人惊叹的能力呢？为什么模型的参数量变大、容量变大，性能就会相应地变好呢？

某AI算法公司的专家告诉笔者：模型的参数量增加，可以理解为模型的维度升高，也就是说我们可以用更复杂的方式来模拟真实世界的规律。拿一个最简单的场景来举例，在一个平面图上给一个散点图，假如我们用一条直线（一个一元函数）来刻画图上的散点出现的规律，那么不管参数是多少，总会有一些点在这条直线之外。假如我们用一条抛物线（一个二元函数）来刻画这些点的规律，那么就会有更多的点可以落在这条线上。随着函数的升维，或者说自由度的增加，会有越来越多的点落在这条线上，也就是说对这些点的规律拟合得更加精准。

也就是说，模型的参数量越大，模型就越容易拟合海量数据的规律。

而随着ChatGPT的出现，人们发现，当模型的参数量到了一定程度之后，呈现出的效果不只是“性能变好”，而是“超出预期的好”。

在NLP（自然语言处理）领域存在一个学界和工业界还无法解释具体原理但令人很兴奋的现象：“涌现”（Emerging Ability）。

何为“涌现”？“涌现”是指，当模型的参数量呈线性增加到一定程度的时候，模型的精度呈指数型增加。

我们可以看一个图，下图左边展示了比例定律（Scaling Law），这是在2022年之前，OpenAI的研究者发现的现象，也就是说随着模型参数规模呈指数增长时，模型的精度会随之线性增加。左图的模型参数也不是指数级增长 而是线性增长

到了2022年1月，有研究者发现，当模型的参数规模超过一定程度时，模型精度提升的程度明显超过比例曲线，如下图右所示。 

 △“涌现”示意图

落实到应用层面，我们会发现，大模型可以实现一些小模型无法实现的任务，例如大模型能做加减法、能做简单的推理等。

怎样的模型可以称之为大模型呢？

一般来说，我们认为参数量过亿的模型都可以称之为“大模型”。而在自动驾驶领域，大模型主要有两种含义：一种是参数量过亿的模型；另一种是由多个小模型叠加在一起组成的模型，虽然参数量不过亿，但也被称为“大模型”。

按照这样的定义，在自动驾驶领域，大模型已经开始被广泛运用了。在云端，我们可以发挥模型参数量增加带来的容量优势，用大模型完成一些数据挖掘、数据标注等任务。在车端，我们可以把分管不同子任务的多个小模型合并成一个“大模型”，这样可以节省车端计算环节的推理时间，增加安全性。

具体来说，大模型可以如何发挥作用呢？根据笔者与各位业内专家交流得到的信息，业界目前主要是在感知领域使用大模型。接下来，我们将分别介绍在云端和车端，大模型如何赋能感知任务。

1. 大模型的应用

1.1

大模型在云端的应用

1.1.1 数据自动标注

采用大模型预训练的方式可以实现自动标注。以视频的clip标注为例，可以先用海量未标注的clip数据通过自监督的方式预训练一个大模型，然后用少量已经人工标注好的clip数据对模型做微调，使得模型具备检测能力，这样模型就可以自动标注clip数据。

模型的标注精度相对越高，对人的替代程度相应也越高。

目前，很多公司都在研究如何提高大模型自动标注的精度，以期精度达标后实现自动标注的完全无人化。

商汤绝影智能驾驶产品总监Leo告诉笔者：我们做过评测，对于道路上的常见目标物，商汤大模型自动标注精度可以达到98%以上，如此一来，后续的人工复审环节就可以十分精简。

商汤绝影在智能驾驶产品开发过程中，目前绝大多数的感知任务都已经引入大模型自动预标注，相比于以往，获取同等数量的数据样本，标注周期和标注成本都可以缩减数十倍以上，显著提高了开发效率。 

一般来说，大家对标注任务的期望主要包括标注过程的效率高、标注结果的精确程度高以及一致性高。效率高和精确度高都很容易理解，一致性高是指什么呢？在3D识别的BEV算法中，工程师要采用激光雷达加视觉的联合标注，需要联合处理点云和图像数据。在这种处理环节里面，工程师可能还会需要在时序层面上做一些标注，那么前后帧的结果就不能区别太大。

假如采用人工标注，标注效果有赖于标注员的标注水平，标注人员水平的参差不齐可能导致标注结果的前后不一致，可能会出现一张图里标注框较大，接下来的一张比较小的情况，而大模型的标注结果前后一般比较一致。

但也有业内专家反映，用大模型做自动标注落实到实际应用上，还会有一些困难，尤其是在自动驾驶公司和标注公司的对接方面——很多自动驾驶公司都会把一部分标注工作外包给标注公司，还有的公司没有内部的标注团队，所有标注工作都是外包的。

目前，采用大模型预标注方式来标注的目标主要是一些动态的3D目标，自动驾驶公司会先用大模型针对需要标注的视频做一遍推理，然后把推理后的结果——模型生成的3D框给到标注公司。先用大模型做预标注，然后再把预标注后的结果交给标注公司的时候，主要会涉及到两个问题：一个是有的标注公司的标注平台不一定支持加载经过预标注的结果，另一个是标注公司不一定愿意在预标注后的结果上做修改。

标注公司假如要加载预标注的结果，需要有支持加载大模型生成的3D框的软件平台。然而，有的标注公司可能主要采用人工标注，他们就没有支持加载模型预标注结果的软件平台，如果和客户对接时拿到的是模型预标注后的结果，他们就没有办法承接。

此外，站在标注公司的角度，只有预标注的效果足够好，他们才能真正“省