自动驾驶汽车告诉我们有关人工智能风险的哪些信息

在特斯拉Autopilot导致 Joshua Brown 死亡之前，我曾向美国参议院商务、科学和运输委员会恳求对车辆中的人工智能的使用进行监管。然而，我的恳求和 Brown 的死亡都无法促使政府采取行动。

从那时起，美国汽车AI已与至少25人确认死亡和数百人受伤及财产损失事件有关联。

整个行业和政府对技术的缺乏了解令人震惊。人们不明白，用于车辆的人工智能——无论是实际处于自动驾驶模式的汽车，还是提供先进的驾驶辅助系统（ADAS）的大量汽车——都是基于与ChatGPT和其他大型语言模型（LLMs）相同的原理。这些系统控制着汽车的车道横向和纵向位置——变道、刹车和加速——无需等待坐在方向盘后面的人的命令。

这两种人工智能都使用统计推理来猜测下一个单词或短语或转向输入应该是什么，并在计算中重点考虑最近使用的单词或动作。转到谷歌搜索窗口并输入“现在是时候”，你会得到结果“现在是所有好人的时间”。当你的汽车检测到前方道路上有物体时，即使它只是一个影子，也会看到汽车的自动驾驶模块突然刹车。

法学硕士中的人工智能和自动驾驶汽车中的人工智能都无法“理解”情况、背景或人们在类似情况下会考虑的任何未观察到的因素。不同之处在于，语言模型可能会给你带来无意义的结果，而自动驾驶汽车可能会杀了你。

2021 年底，尽管我因敢于说出有关车辆人工智能危险的真相而受到人身安全威胁，但我还是同意与美国国家公路交通安全管理局 (NHTSA) 合作，担任高级安全顾问。使我有资格胜任这份工作的是我拥有专注于联合人机自动化系统设计的博士学位，以及 20 年设计和测试无人系统的经验，其中包括一些现在用于军事、采矿和医学的系统。

我在 NHTSA 的经历让我亲眼目睹了交通人工智能在现实世界中的应用是否有效。它还向我展示了监管的内在问题，特别是在我们当前分裂的政治格局中。我的深入研究帮助我形成了五个实用的见解。我相信它们可以作为行业和监管机构的指南。

2023 年 2 月，这辆汽车停在旧金山的一条街道上，堵塞了后面的交通。原因？后门还没有完全关闭。

1. 操作中的人为错误被编码中的人为错误所取代

自动驾驶汽车的支持者经常断言，我们越早摆脱司机，我们在道路上就越安全。他们引用 NHTSA 的统计数据称， 94% 的事故是由人类驾驶员造成的。但这一统计数据是断章取义且不准确的。正如国家公路交通安全管理局在该报告中指出的那样，驾驶员的错误是“事故因果链中的最后一个事件……” 这不应被解释为坠机的原因。” 换句话说，还有很多其他可能的原因，例如照明不良和道路设计不良等。

此外，自动驾驶汽车比人类驾驶的汽车更安全的说法忽略了任何从事过软件开发工作的人都非常清楚的一点：软件代码非常容易出错，而且随着系统变得更加复杂，问题只会变得越来越严重。

虽然语言模型可能会给你带来废话，但自动驾驶汽车可能会杀了你。

最近发生的崩溃事件，其中有缺陷的软件是罪魁祸首。

这些事件和许多其他事件清楚地表明，人工智能并没有结束人为错误在道路事故中的作用。这个角色只是从一系列事件的末端转移到了开始——人工智能本身的编码。由于此类错误是潜在的，因此更难消除。测试（无论是在模拟中还是主要在现实世界中）是减少此类错误发生机会的关键，尤其是在安全关键系统中。然而，如果没有足够的政府监管和明确的行业标准，自动驾驶汽车公司就会为了将产品快速推向市场而走捷径。

2.人工智能的故障模式难以预测

大型语言模型通过查阅训练期间根据预先存在的数据收集的档案来猜测接下来出现的单词和短语。自动驾驶模块解释场景，并根据训练期间提供的标记图像数据库（这是一辆汽车、这是一个行人、这是一棵树）做出类似的猜测来决定如何绕过障碍物。但并非所有可能性都可以建模，因此无数的故障模式极难预测。在所有条件相同的情况下，自动驾驶汽车在一天中的不同时间在同一路段上的表现可能会非常不同，这可能是由于太阳角度的不同所致。任何尝试过法学硕士并仅更改提示中单词顺序的人都会立即看到系统回复的差异。

一种先前没有预料到的故障模式是幻象制动。没有明显的原因，自动驾驶汽车会突然急刹车，可能会与后面的车辆和后面的其他车辆发生追尾事故。幻象制动已出现在许多不同制造商的自动驾驶汽车以及配备 ADAS 的汽车中。

此类事件的原因至今仍是一个谜。专家最初将其归因于人类驾驶员过于密切地跟踪自动驾驶汽车（他们的评估中经常引用关于驾驶员失误的 94% 的误导性统计数据）。然而，越来越多的此类事故已向国家公路交通安全管理局报告。自动驾驶汽车的追尾事故发生率大约是人类驾驶汽车的两倍。

显然，人工智能没有发挥应有的作用。此外，这不仅仅是一家公司的问题——所有利用计算机视觉和人工智能的汽车公司都容易受到这个问题的影响。

随着其他类型的人工智能开始渗透社会，标准机构和监管机构必须了解人工智能的故障模式不会遵循可预测的路径。他们还应该警惕汽车公司倾向于为不良技术行为开脱，并将滥用或误用人工智能归咎于人类。

3. 概率估计并不近似于不确定性下的判断

十年前，人们对 IBM 基于人工智能的 Watson（当今法学硕士的前身）的崛起感到非常不安。人们担心人工智能很快就会导致大量失业，特别是在医疗领域。与此同时，一些人工智能专家表示我们应该停止培训放射科医生。

这些担心并没有成为现实。虽然沃森可能擅长猜测，但它没有真正的知识，尤其是在不确定性下做出判断并根据不完美信息决定行动时。今天的法学硕士也不例外：基础模型根本无法应对信息的缺乏，并且无法评估他们的估计在这种情况下是否足够好。

这些问题在自动驾驶领域中很常见。2022 年 6 月，一辆 Cruise 机器人出租车发生事故，当时该车决定在两辆车之间急速左转。正如汽车安全专家迈克尔·温（Michael Woon）在一份 事故报告中详细介绍的那样，这辆车正确地选择了一条可行的路径，但在转弯的一半时，它猛踩刹车并停在了路口中间。它猜测右车道迎面而来的汽车将要转弯，尽管以汽车的行驶速度实际上不可能转弯。这种不确定性让邮轮公司感到困惑，它做出了最糟糕的决定。迎面驶来的一辆普锐斯汽车没有转弯，撞上了克鲁斯汽车，导致两辆车上的乘客受伤。

巡航车辆与急救人员的互动也存在许多问题，因为急救人员默认在高度不确定的区域进行操作。这些遭遇包括巡航汽车穿越活跃的消防和救援现场以及 行驶在倒塌的电线上。在一次事故中，一名消防员不得不将 Cruise 车的车窗敲开，将其从现场移走。Cruise 在机器人出租车业务中的主要竞争对手 Waymo 也遇到了类似的问题。

这些事件表明，尽管神经网络可以对大量图像进行分类并提出一组在常见设置中起作用的操作，但当世界与它们的训练数据不匹配时，它们仍然难以执行基本操作。对于法学硕士和其他形式的生成人工智能来说也是如此。这些系统缺乏的是面对不确定性时的判断力，而判断力是真正知识的关键先决条件。

4. 维护人工智能与创造人工智能同样重要

由于神经网络只有经过大量相关数据的训练才能发挥作用，因此数据的质量至关重要。但这样的训练并不是一劳永逸的场景：模型不能被训练然后被发送出去永远表现良好。在驾驶等动态环境中，模型必须不断更新，以反映新型汽车、自行车和踏板车、建筑区域、交通模式等。

在 2023 年 3 月发生的事故中，一辆 Cruise 汽车撞上了一辆铰接式公交车的后部，专家们对此感到惊讶，因为许多人认为对于搭载激光雷达、雷达和计算机视觉的系统来说，发生此类事故几乎是不可能的。 ​​​​​​​克鲁斯将事故归咎于一个错误的模型，该模型根据普通巴士的尺寸猜测了巴士后部的位置；此外，该模型拒绝了正确检测到公交车的激光雷达数据。

软件代码非常容易出错，并且随着系统变得更加复杂，问题只会变得越来越严重。

这个例子凸显了保持人工智能模型流行的重要性。“模型漂移”是人工智能中的一个已知问题，当输入和输出数据之间的关系随时间变化时就会发生这种问题。例如，如果一支自动驾驶车队在一个城市运营一种公交车，然后车队转移到另一个拥有不同公交车类型的城市，那么公交车检测的底层模型可能会发生漂移，这可能会导致严重后果。

这种漂移不仅影响人工智能在交通领域的工作，而且影响任何新结果不断改变我们对世界的理解的领域。这意味着大型语言模型无法学习新现象，除非它失去了新颖性，并且出现得足够频繁，可以合并到数据集中。维护模型货币只是 ​​​​​​​人工智能需要定期维护的众多方式之一，未来任何关于人工智能监管的讨论都必须解决这个关键方面。

5.人工智能具有不可忽视的系统级影响

自动驾驶汽车被设计成在无法再推理和解决不确定性的那一刻就停下来。这是一项重要的安全功能。但正如 Cruise、特斯拉和 Waymo 所证明的那样，管理此类站点带来了意想不到的挑战。

一辆停下来的汽车可能会堵塞道路和十字路口，有时会堵塞几个小时，从而限制交通并使急救车辆无法进入。公司已经建立了远程监控中心和快速行动团队来缓解这种拥堵和混乱，但至少在旧金山， 数百辆自动驾驶汽车在路上行驶，市政府官员对他们的响应质量 提出了质疑。

自动驾驶汽车依靠无线连接来保持道路感知，但是当连接性下降时会发生什么？一名司机惨痛地发现，他的车被困在由 20 辆 Cruise 车辆组成的车堆中， 这些车辆与远程操作中心 失去了连接，并造成了严重的交通拥堵。

当然，任何新技术都可能会经历成长的阵痛，但如果这些阵痛变得足够严重，它们就会削弱公众的信任和支持。在技​​术友好的旧金山，人们对自动驾驶汽车的情绪曾经是乐观的，但现在由于该城市正在经历的大量问题，人们对自动驾驶汽车的情绪已经发生了负面转变。如果自动驾驶汽车停下来导致无法及时送往医院的人死亡，这种情绪最终可能会导致公众拒绝这项技术。

那么，自动驾驶汽车的经验对更普遍地监管人工智能有何启示呢？公司不仅需要确保他们了解人工智能更广泛的系统级影响，还需要监督——不应该让他们自己监管。监管机构必须努力为使用人工智能的系统定义合理的操作边界，并相应地颁发许可证和法规。当人工智能的使用带来明显的安全风险时，各机构不应听从行业寻求解决方案，而应主动设定限制。

人工智能在汽车和卡车领域还有很长的路要走。我并不是呼吁禁止自动驾驶汽车。使用人工智能有明显的优势，人们呼吁禁止甚至暂停人工智能是不负责任的。但我们需要更多的政府监督，以防止承担不必要的风险。

然而，对车辆人工智能的监管尚未发生。这部分归咎于行业的夸大和压力，但也归咎于监管机构能力的缺乏。欧盟在监管人工智能方面更加积极主动，特别是在自动驾驶汽车方面。在美国，联邦和州交通部门根本没有足够的人员深入了解这项技术，无法有效倡导平衡的公共政策和法规。其他类型的人工智能也是如此。

这不是任何一届政府的问题。人工智能不仅跨越政党界限，还跨越所有机构和各级政府。国防部、国土安全部和其他政府机构都面临着劳动力缺乏有效监督先进技术（尤其是快速发展的人工智能）所需的技术能力的问题。

为了有效地讨论人工智能的监管问题，与会者都需要具备人工智能方面的技术能力。目前，这些讨论很大程度上受到工业界（存在明显的利益冲突）或小鸡们的影响，他们声称机器已经具备了超越人类的能力。在政府机构拥有具备了解人工智能关键优势和劣势的技能的人员之前，有关监管的对话不会取得任何有意义的进展。

招募这样的人是很容易做到的。改善薪酬和奖金结构，将政府人员嵌入大学实验室，奖励在政府服务的教授，为各级政府人员提供人工智能高级证书和学位课程，并为同意在政府服务的本科生提供奖学金毕业几年后。此外，为了更好地教育公众，教授人工智能主题的大学课程应该是免费的。

我们需要减少歇斯底里，加强教育，以便人们能够理解人工智能的承诺和现实。

文章来源：IEEE Spectrum