聊一聊智能汽车的产业趋势与技术挑战 | 清华大学李升波教授分享

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

>>点击进入→自动驾驶之心【全栈算法】技术交流群

导读：2023年11月17日，由中国电动汽车百人会主办的2023年汽车产业国际化发展大会在北京召开。清华大学车辆与运载学院李升波教授应邀分享了题为“智能汽车的产业趋势与技术挑战”的主题报告。

智能汽车是各国竞相追逐的科技制高点。智能汽车的发展不是一蹴而就的，而是由驾驶员辅助到全自动驾驶的渐进升级过程。然而从低级别驾驶辅助到高级别自动驾驶的技术变革存在诸多挑战，二者所面临的交通工况、道路条件和产业条件迥然不同。我国道路交通又因为第一代驾驶员居多、人车流混杂、道路不规则等影响，面临的挑战更为苛刻。报告围绕智能汽车与人工智能的学科交叉领域，介绍环境感知、自主决策和运动控制方面的发展现状，并结合生成式人工智能的最新进展，探讨自动驾驶汽车的产业发展趋势与核心技术挑战。以下为李升波教授的报告全文：

尊敬的各位嘉宾，大家下午好。我是来自于清华大学的李升波。首先非常感谢会务组的邀请，能够到汽车产业国际化发展大会做一次分享。刚才听了企业界同事介绍我国汽车企业出海的经验，说句实话我是心潮澎湃，备受鼓舞的。中国汽车工业发展到今天，每年生产制造2700万辆汽车，今年海外销售预计超过500万辆。这是一个非常了不起的成就，汽车工业更加辉煌的未来令人十分期待。
今天我的分享主要是想从另外一个维度，从技术的维度探讨智能汽车领域要做哪一些布局。我想任何一家公司、任何一家企业，如果希望市场上取得成功，单靠商业模式是不行的，核心技术的突破必不可缺，而人工智能的出现使得功能迭代的速度越来越快，发展节奏令人应接不暇。从人工智能的角度看智能汽车，它的核心技术是什么，未来趋势是什么，企业怎么进行布局，这是我今天分享的主要内容。

首先，人工智能时代真的来临了。目前，人类社会正处于第四次工业革命的前期。我这么判断是因为一些里程碑事件的出现，尤其是2022年年末ChatGPT的出现，为全人类上了一堂生动有趣的科技洗礼。

从社会文明的角度看，衣食住行是人类的四大需求，车与我们的生活息息相关，科技发展的两个核心驱动力都在车辆上得到了充分体现。第一，如何降低人类的劳动强度？以能源驱动的地面运载工具位列其中。第二，怎么才能降低人类的脑力负担？计算和存储两个维度的自动化，发展的最高形态就是人工智能。地面运载工具，加上绿色能源，再加上人工智能，就是现在广泛关注度的智能电动汽车。因此，汽车成了这一次工业革命的主要角色。

智能汽车的发展跟人工智能是密不可分的，自动驾驶是人工智能皇冠最为璀璨的那一颗明珠。身处这一领域，我们需要关注的第一性原理有那一些呢？在于两点，摩尔定律和平方定律。第一点，摩尔定律告诉我们，单位成本获得的算力是每18个月翻一番。按照这一规律推演，大概到2035年，单台计算机的算力可以等同于单个人类。第二点，数据价值跟规模的平方成正比。规模本身就是价值，这是数据的一个核心特征。数据规模所体现的价值不是线性增长的，而是平方增长的。因此，大家都在设法积攒数据，导致现在的数据称之为海量。这些潜在的第一性驱动力使得人工智能的进步是非线性的，由量变到质变，波浪式的发展，弱人工智能正向强人工智能迈进。

谈人工智能必然要谈算法，谈算法必然要谈大模型，为什么大模型这么重要呢？ChatGPT出现之前，无论是学术界还是工业界，大家普遍认为：机器学习的性能是存在饱和问题的，模型规模做大对性能提升的意义并不大。OpenAI的工作颠覆了这一认知误区，它的经验告诉我们：只要模型足够大，就能产生“智能涌现”。正是因为ChatGPT的出现，大家对模型做大有了信心，敢于提前投入人力物力了。更大的一个改变是人工智能的进步给科技带来了一套全新的发展范式，以算力为基础，以数据为资源，以算法为放大器的暴力破解型范式。这一技术范式具有马太倍增效应。先到者就能提前累积数据，数据更多就能获得更好的性能，性能更好又能强化产品的市场地位，第一个吃螃蟹者将具有巨大的先发优势。这是我们今天更加重视数据的原因之一。
对于智能汽车而言，数据的重要性还有另外一层含义。汽车的设计与开发，尤其是智驾、智舱两个领域的数据，与个人隐私保护、国家信息安全密不可分。

我国刚刚设立了国家数据局，希望以国家之力解决数据的安全问题，包括怎么采集、怎么存储、怎么利用。从经济学的角度看，今天的数据正变成关键生产要素的五个组成部分之一，跟土地的重要性是一样的。过去的二十年，土地实际上是国民财富的一个基本载体，今天的数据将变成另外一个载体，这是发展人工智能的一个意外收获。回到智能汽车，我们看到系统的开发与测试需要大量数据的支撑。举一个简单的例子，自动驾驶系统的安全性评估，大概需要4.4亿公里的实车行驶里程，这相当于100辆车队，每天24小时不停歇，以40公里每小时的速度行驶12.5年。可想而知，进行这一测试，成本有多高，时间有多长，数据规模有多么庞大，这对数据的采集、存储和使用都提出了全新的要求。

从原理上说，智能驾驶的本质是利用传感器替代人类的眼睛，利用算法代替人类的头脑，利用执行器代替人类的手脚，自动化地实现车辆的驾驶功能。发展智能驾驶技术的核心目标是实现零事故、无拥堵的货物运载与人员出行。

实际上，包括我国在内，世界各工业强国，比如说美、德、日等，均从国家层面推动智能网联汽车的技术发展与产业落地，我国的目标是到2025年能够建立比较完备的智能网联汽车产业生态体系。

智能汽车的技术发展是分级的，从低到高是L1级到L5级。级别的划分，主要根据控制权、风险监控和失效应对进行划分的，简单说，低级别的智能汽车，出了事故由驾驶员负责，而高级别的智能汽车，出了事故由机器负责。目前，L1级和L2级的驾驶辅助系统已经商业化，主要面向高速公路场景，典型产品包括LKA、ACC、AEB、NOA等系统，这也是市场竞争最激烈的一个领域。进入L3级之后，才被称作“自动驾驶”（狭义上说，低级别叫做驾驶辅助，高级别叫做自动驾驶;不区分二者时，笼统称作“智能驾驶系统”），这一领域正处于商业化的前期，尤其是面向城市工况的自动驾驶，功能尚未成熟，还处于研发过程。大模型的出现，对于L4级自动驾驶的技术布局，冲击是比较大的，比如说端到端自动驾驶系统很有可能颠覆之前所采用的技术方案。

当然，智能汽车的技术体系不仅仅包括以神经网络为核心的人工智能。实际上，每一辆智能汽车的技术布局都是比较复杂的，至少包括环境感知、自主决策、运动控制、电子地图、高算力芯片、域控制器、高实时OS、车用无线通讯、人机交互、线控底盘、信息安全以及云平台等等。智能驾驶系统缺少了任何一个环节，技术体系都是瘸腿的，很难成为一个性能可靠、被市场接受的好产品。

下面我主要介绍感知、决策和控制三项技术的情况。我们知道人工智能的三大支柱是算法、数据和算力，智能驾驶领域还要增加一个名词：测试。测试，尤其是安全、可靠、有效地测试对于智驾系统的开发异常重要，因为智驾系统不仅仅要求具备良好的驾驶智能性，而且需要行驶安全性、燃油经济性、乘坐舒适性、交通通畅性和道路合规性。汽车对行驶安全性的极致追求，对测试是一个噩梦般的存在。如果不进行实车测试，就不能知道安全性的边界，如果进行实车测试，就是冒着发生事故的风险。这一矛盾性是与多数人工智能领域不太一样的地方，这是这一垂直领域最具有挑战，也是最具有魅力的部分。

什么是环境感知呢？环境感知类似于人的眼睛，识别周围的人、车和道路等目标，这是目前神经网络应用的一个重要方向。比如说刚刚获得中国未来科学大奖的ResNet，就是环境感知领域的一项重要技术。自动驾驶的感知算法几乎都是基于ResNet或它的技术思想建立的。

什么是自主决策呢？决策系统类似于驾驶员的大脑，制定跟车、换道、转弯、掉头等基本的行驶策略，输出一条参考轨迹给下层的运动控制。

什么是运动控制呢？运动控制本身就是输出命令到油门、刹车、方向盘，实现车辆的跟踪、避障等功能。运动控制直接决定了汽车行驶性能，安全性、节能性和舒适性都是运动控制考虑的关键性能。

前面说到，智能汽车的发展是分级的，从L1级到L5级。因为性能要求、行驶环境的不同，不同级别的技术难度是完全不一样的。从L1级开始，感知技术就是很难的，即使低级别的驾驶辅助产品也需要高性能的感知系统。从企业组织结构也能看到这一点，通常感知团队是规模最大的。但是随着功能从驾驶辅助到自动驾驶演进，场景从高速公路到城市道路迈进，决策技术的难度日渐升高，进入L4级之后将超过感知的难度。这是因为决策系统类似于人类的大脑。对比人类的眼睛、大脑和手脚等器官，大脑是结构最复杂、组织最多样、耗氧量最高的。研究发现，驾驶过程中大概有50%-80%的脑力资源是直接用于驾驶任务本身。对于新手驾驶员尤为如此，因为对驾驶任务的不熟悉，大量的脑力资源被用于理解周围环境、预测周车行为、判断行驶风险、选择合理路径等任务，这些都是决策相关的任务。即使是一名熟练驾驶员，开着导航仪过立交桥的时候，相信大家都有手忙脚乱、走错车道的经历。因此，驾驶并不是一项简单的任务，它所占用的脑力资源是比较多的，这是为什么开车的时候不允许看手机、不允许酒驾的原因。

回到智能驾驶的核心难题，即行驶的安全性。过去几年，无论是低级别的驾驶辅助系统还是高级别的自动驾驶系统，都零零散散地发生一些交通事故，有些甚至是车毁人亡的恶性事故。这些事故是怎么发生的呢？先看看一个案例，2016年的首次智能驾驶事故。当时车上装有两个主传感器，一个摄像头，一个毫米波雷达，他们两者都没有检测到前方横过来的重型卡车，感知系统出现了失误。另外一个是自动驾驶的统计数据，每年加州高速公路管理局都会公布自动驾驶的测试结果，2020年的最好水平大概是每行驶100万公里发生20次人工接管。大家或许会觉得这一人工接管数，已经是小概率事件了。关键是是看跟谁比，跟人类驾驶员相比还有欠缺。人类的平均水平大概是行驶百万公里2到5次的严重事故，假如每一次接管就意味着每一次严重事故的话，最好的自动驾驶技术仍比人类差4倍到10倍。特别值得指出这是加州道路的测试结果，不是堵得厉害的北上广深，而且是安全员的测试结果，他们对自动驾驶系统的能力边界是比较熟悉的，并非对系统功能未知的一般性用户。
或许有人会反驳说：部分公司已经统计了L2级驾驶辅助系统的事故数据；对于同一车型，有人驾驶的事故是高于无人驾驶的，因此自动驾驶的安全性是比人类高的。我个人认可事故数据的统计结果，但是不认可安全性比人高的结论。这是典型的幸存者偏差：一个原因是即使是同一款车型，无人驾驶的行驶工况肯定比有人驾驶要简单，因为不会有人于泥泞道路、雨雪雾霾之中还启动智驾功能，但是人类遇到这类情况肯定还是要驾驶的。第二个原因，即L2级是无人驾驶吗？不是，它是驾驶辅助。按照现有的设定，驾驶辅助实际上处于人机共驾状态，驾驶员还要监控前方环境，要为安全性负责。这相当于为驾驶过程上了双保险，机器与驾驶员互相补足对方的缺陷，肯定要比单独的机器驾驶或者单独的人工驾驶更好。因此，处于驾驶辅助阶段，安全性好并不稀奇，安全性差反而是令人不解的。智能驾驶系统的安全性优劣，只有比较L4级自动驾驶才具有意义，因为这个时候要么是人工驾驶，要么是机器驾驶，并非处于人机共驾的状态。

那么为什么智能驾驶的安全性问题不断出现呢？我们以首次事故为例进行说明：这次事故的技术原因之一是卡车的侧面图像从没有被训练到，摄像头的感知出现了失误。或许有人说，把这辆卡车的侧面图像放入数据集，重新训练感知算法，不就解决问题了吗？实际情况是，道路上遇到的卡车侧面是千奇百怪的，烟酒糖茶的广告各式各样，仅仅增加一张侧面图像是远远不能解决所有的侧方感知问题的。

从学术上来讲，安全性不足的根源在于驾驶场景数据的长尾分布特性。除了刚刚提到车辆外观不同之外，导致长尾分布的因素也是十分多样的，比如说驾驶员行为特性的不同。每个国家，每个民族，每个地区，包括每个人的开车行为都是不一样的。有人开车激进一点，有人开车保守一点，这使得行车过程总是遇到三类不同的场景：一般性的开车场景，紧急性的开车场景,边缘性的开车场景。行车过程中大量的数据属于什么场景呢？数量多，但是危险度低的一般场景，约占行驶里程的95%左右。紧急场景的数量是很少的，约占剩余百分之五的95%。而边缘场景的更加稀少，占比是百分之五的百分之五，这就是长尾分布特性。尽管这类场景尽管十分稀少，但是危险度很高，恰好是驾驶事故多发的场景。驾驶场景的长尾分布特性，使得边缘场景的数据采集异常困难，即使采集到部分数据，也因为数据十分稀少，导致它们的训练不具有显著性，被淹没到大量的一般性数据之内。

总体而言，现有单车智能的驾驶水平相比于人类而言还是具有大的差距的。从仿生学角度看，我们也能得到类似的推论：这副图统计了典型动物大脑中神经元的数量。横轴是从低级别到高级别的动物，包括灵长类，直到人类，纵轴是该类动物大脑之内神经元的数量。让我们看看一些典型动物的情况。比如说青蛙有1600万个神经元，它是不能开车的。像狗这种动物的智力比较好，大概有22亿个神经元，据说是可以做一些基本的驾驶动作，如车道保持。人类大脑具有860亿个神经元，就能够在各种场景、各类道路、各型天气之下流畅地开车。目前，智能汽车的神经网络规模大概到了多少呢？大概等价于百万到千万级别的生物神经元。虽然AI大模型已经千亿级别的参数，但是车载计算机的算力有限，不允许运行大模型级别的神经网络。另外，机器神经元的能力与生物神经元的能力不是一个量级，我粗略估计是千倍左右的差距，这使得机器神经网络的能力大打折扣。
怎么能够提升自动驾驶的智能性呢？算力是首要因素，因为算力大就意味着模型大，模型大就意味着性能强。这个说法只是必要条件，而非充分条件。充分条件还要加上数据和算法，如何将这三者与测试完美的打通，赋予汽车自我完善、不断进化的能力，这是下一步发展趋势。

目前，我国正推进符合中国国情的智能网联汽车技术体系，即车路云一体化的智能网联汽车驾驶方案，这为破解单车智能不足、自动驾驶落地困难提供了一套可行的路径。从人工智能的训练角度看，该方案的一个具体实施机制如下：由车端、路端收集交通场景数据，上传至云平台进行训练，推动“数据驱动”和“验证驱动”双环技术路径。数据驱动的核心任务是边缘场景的筛选与采集。验证驱动的核心任务是通过大规模仿真进行算法迭代优化。一方面通过数据训练自动驾驶的各类神经网络模型，然后将模型用于自动驾驶车辆，以此为基础推动更多实车应用，采集更多的边缘场景，积累更多的长尾分布数据。另一方面通过本地化的数据采集，数据清洗，数据挖掘，生成高保真的自动驾驶虚拟场景，通过大规模的半实物仿真测试或数字孪生测试，进行算法和软件的优化，实现系统功能的不断迭代。
很明显，这两个闭环的交叉点仍然是数据。第一个环的目标是采集更多的数据，第二个环的目的是用好这些数据。最终的目标是打通车路云一体化训练系统，将数据、算法、算力、测试四者融合到一起，让智驾系统的自我进化能力循环起来。坦白说，打通这一体系还是比较困难的，我知道在座的诸多企业都在这一赛道上努力。双闭环路径的打通是系统自我进化的基础，唯有如此才有可能将研发效率提上去，将研发成本降下来，与竞争对手拉开差距，占据产品竞争的优势。

具体的技术布局，我提供一些建议供大家参考：第一，重点推进主导模块的神经网络化，除了感知之外，定位、预测、决策、预测与控制等功能模块，都要使用神经网络进行替代，这是进行大规模闭环训练的前提。第二，优先布局关键工具软件的开发，包括数据处理、训练算法、仿真测试等；硬件是基础，软件是灵魂，所有功能的实现离不开工具软件的支撑，这是我们工业体系比较欠缺的地方。第三，算力预埋和数据预采，提前布局智能系统的算力和数据支柱；这两者是相辅相成，算力预埋自然能够支持数据预采，预采的数据将为算法的迭代提供核心支撑。
借这个机会，向大家汇报清华大学智能驾驶课题组在自动驾驶领域开展的一些研究工作。高校科研的一个目标还是希望为企业趟一趟前方的道路，进行前瞻性的技术探索与能力布局。

第一个研究工作是高级别自动驾驶系统的决策与控制。我所在的课题组从2018年开始推行以神经网络为载体的集成式决控（IDC）方案，通过强化学习算法训练“全神经网络化”的决策能力和控制能力。与分层式决控（HDC）架构不同，集成式决控（IDC）架构将自动驾驶决控任务进行了重塑，整合为一个统一的约束型最优控制问题，仅包含一个性能指标，一个动力学系统，最终仅求解一个最优的决控模型。这一主导性模块的存在使得该架构更适合引入以神经网络为载体的强化学习算法，便于实现数据驱动的闭环训练流程，增强了对稀有交通场景的自适应能力。

第二个研究工作是适用于复杂动态任务的强化学习训练算法。近期的一个里程碑工作是Distributional Soft Actor-Critic (DSAC)算法，目前的第二代版本，叫做DSAC-t，也是标准测试环境排名第一的强化学习算法，这为自动驾驶训练提供了坚实的基础。

同时我们与企业合作，推进这一算法的应用和验证。这是团队与滴滴自动驾驶部门合作完成的开放性道路测试，场景是自动驾驶最困难的无保护左转任务。实车测试表明，通过数据训练得到神经网络模型获得了类似人类的驾驶能力，比如说黄灯工况，算法自动具有了抢黄灯或者减速停车的能力，这一能力不是由工程师通过规则告诉它的，是通过数据训练生成的，而且这种能力是可以自我迭代的，特别是可以根据本地场景进行自适应学习。

第三个研究工作是自主知识产权的自动驾驶仿真软件。自动驾驶仿真是算法正向迭代的关键。目前还缺乏面向训练任务的仿真软件，已有的软件要么是偏向于游戏引擎，要么是偏向于交通流仿真，不完全适用于自动驾驶的高保真需求。从2019年开始，课题组着力打造了一套仿真软件叫LasVSim，第一代版本已开发成功。这套软件的特点，第一是“准”，建立了核心的高精度模型，包括人、车、路等，这是仿真准确的关键；第二个是“快”，开发了底层的模型加速计算技术，解决“快”与“准”之间的矛盾性；第三个是“智”，引入人工智能技术使得场景生成更加的智能，更加贴合本地化道路的交通特性。

第四项工作是面向工业控制领域，打造AI工具链，建设开源生态。过去三年，课题组开发了第一个面向工业控制的强化学习工具，名字叫做GOPS（General Optimal control Problem Solver）。GOPS以深度神经网络为策略载体，采用强化学习和近似动态规划机制，迭代求解的最优控制策略，具有控制精度高、实时性好的优点，特别适用于高维度、高复杂、非线性的工业被控对象。目前这一软件已由清华大学开源，免费提供给国内外高校和企业使用，希望通过开源生态体系的建设促进自主化的核心技术和工业软件研发。
最后简单总结一下今天的分享。中国汽车工业发展到今天,已经到了由大变强的转型时刻，包括核心技术的引领、产品标准的国际化、生态体系的打造等，万事具备，只欠东风，动手开始干就可以了。人工智能的发展给了汽车工业的一个巨大的发展机会，当然我们在核心芯片、操作系统和零部件方面还有一些不足，需要行业同仁共同努力，扎扎实实前行。同时，智能汽车的发展也不是一蹴而就的，智能驾驶的商业化逻辑还是先辅助人，后取代人，目前仍存在安全性不足的挑战，打通车路云一体化的闭环训练是各界共同关注的方向。

谢谢大家，我的汇报到此结束。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！