面向未来的前沿人工智能监管

策制定者应该为未来十年人工智能系统更加强大的世界做好准备。这些发展可能会在人工智能科学没有根本性突破的情况下发生，只需扩展当今的技术以在更多数据和计算上训练更大的模型即可。

用于训练前沿人工智能模型的计算量在未来十年可能会显着增加。到 2020 年代末或 2030 年代初，用于训练前沿 AI 模型的计算量可能是用于训练 GPT-4 的计算量的大约 1,000 倍。考虑到算法的进步，有效计算量可能是用于训练 GPT-4 的大约一百万倍。何时达到这些阈值存在一些不确定性，但在预期成本和硬件限制内，这种增长水平似乎是可能的。

无需政府干预，这种规模的改进是可能实现的，完全由当今大型科技公司规模的私营公司资助。它们也不需要芯片制造或设计方面的根本性突破。超出当今私营公司限制的支出增加或全新的计算范式可能会带来更大的计算增长。

训练前沿人工智能模型的成本不断上升，可能会导致前沿研究出现寡头垄断，但能力可能会迅速激增。目前，算法的进步和硬件的改进迅速降低了训练先前最先进模型的成本。按照目前的趋势，五年内，在任何给定能力水平上训练模型的成本大约下降了 1,000 倍，即原始成本的 0.1% 左右，从而使培训成本大大降低并提高了可及性。

美国政府对运往中国的先进人工智能芯片实施了出口管制，并且随着时间的推移，拒绝参与者获得硬件改进会导致相对能力差距越来越大。无法获得硬件改进的参与者将很快因跟不上前沿研究的步伐而付出代价。到 2027 年，如果出口管制保持在当前的技术门槛并发挥最大作用，那么使用旧的、符合出口标准的芯片可能会导致培训成本损失大约十倍。

然而，任何特定水平的人工智能能力的扩散只会再延迟几年。目前，仅由于算法的进步，在任何给定的人工智能能力水平上训练模型的成本都在迅速下降。如果算法改进继续广泛应用，受硬件限制的参与者将能够训练具有相当于曾经前沿模型的能力的模型，但仅落后前沿两到三年。

计算和算法的改进对于推动人工智能前沿的进步以及影响能力扩散的速度和对象都发挥着重要作用。目前，由于硬件改进和计算支出增加，用于训练大型人工智能模型的计算量每七个月就会翻一番。对于大型语言模型，算法效率（即以更少的计算实现相同性能水平的能力）大约每八到九个月就会翻一番。性能的提高来自计算量的增加和算法的改进。如果由于成本上升和/或硬件性能提升减少而在 2030 年代计算增长放缓，那么前沿模型的未来进展可能在很大程度上取决于算法的改进。

目前，随着在任何给定性能水平上训练模型所需的计算量迅速下降，算法效率的快速提高使得功能能够快速增长。最近，一些领先的人工智能实验室开始隐瞒有关其最先进模型的信息。如果算法改进缓慢或变得不那么广泛可用，这可能会减缓人工智能前沿的进展，并导致能力扩散更慢。

虽然人工智能的未来如何发展存在很大的不确定性，但当前的趋势表明，人工智能系统的未来将比当今最先进的技术更强大。人工智能前沿最先进的系统最初将仅限于少数参与者，但可能会迅速扩散。政策制定者应该从今天开始制定监管框架，为未来做好准备。建立预期监管框架至关重要，因为人工智能进步与政策制定过程之间的速度脱节，难以预测新人工智能系统执行特定任务的能力，以及当今缺乏监管的人工智能模型激增的速度。等到具体危害发生后再监管前沿人工智能系统几乎肯定会导致监管为时已晚。

如果当前趋势持续下去，用于训练模型的计算量可能会成为富有成效的监管途径。大量计算是训练前沿人工智能模型的入门成本。未来 10 到 15 年，计算作为训练最强大的人工智能系统的重要输入，其重要性可能会增加。然而，考虑到算法的进步能够随着时间的推移以更少的计算量训练具有同等性能的人工智能系统，对计算访问的限制可能会减缓但不会阻止能力的扩散。如果与模型本身的法规（例如对某些经过训练的模型的出口管制）相结合，计算法规将更加有效。

政策制定者和行业领导者越来越关注高性能通用人工智能模型（有时称为“前沿”模型）的监管。当前前沿人工智能模型的例子包括 GPT-4 (OpenAI)、Claude 3 (Anthropic) 和 Gemini Ultra (Google)。公司已经在使用越来越多的数据和计算硬件来训练更大、能力更强的下一代模型。

用于训练前沿人工智能系统的计算量正在以不可持续的速度增长。从 2010 年到 2022 年，用于训练最先进机器学习模型的计算量增加了 100 亿倍，并且每六个月翻一番。1对于最大的模型，用于训练的计算量大约每七个月就会翻一番。计算量的快速增长超过了硬件改进的速度，部分原因是培训支出的增加。训练最大模型的成本大约每 10 个月就会翻一番。2仅最终的训练运行当前前沿模型的训练成本就高达数千万美元。考虑到早期的训练运行和实验，如今训练前沿模型的全部成本可能约为 1 亿美元。3随着培训费用持续上升，可能达到数亿美元甚至数十亿美元。

当前的趋势表明，人工智能系统的未来将比当今最先进的技术更加强大。

短期内，人工智能前沿的大规模训练可能会继续增长。据报道，领先的人工智能实验室已经在训练下一代模型或为此筹集资金。4 Nvidia 正在发货数十万颗新芯片，这将使未来的训练运行更加强大。然而，从长远来看，成本和可能的硬件限制可能会限制未来的计算增长。5当前的计算增长指数不可能无限期地持续下去。它持续多长时间、以何种速度以及在趋于平稳之前计算量的增长量对人工智能的未来进步具有重要影响。成本和硬件获取作为训练高性能人工智能系统的进入壁垒的作用也具有政策影响，例如出口管制和一些监管建议。

有关成本和计算趋势如何影响人工智能未来的几个问题：

1. 成本和计算预测：如果当前趋势继续下去，用于训练前沿人工智能模型的计算量和训练成本将如何随着时间的推移而上升？考虑到算法的进步，有效计算量将如何随着时间的推移而增加？

2. 成本增长的限制：在达到私营公司的支出限制之前，可以计算增加多少，什么时候会发生？如果成本增长速度随着成本上升而减慢，这可能会如何影响用于训练前沿模型的计算量？

3. 硬件改进的限制：持续硬件改进的限制可能会如何影响未来的计算增长？

4. 扩散：随着时间的推移，硬件和算法效率的改进将如何影响人工智能功能的可用性？

5. 受硬件限制的参与者的成本：硬件可用性的限制（例如，由于出口管制）可能如何影响那些被拒绝获得人工智能硬件持续改进的参与者的成本和计算增长？
6. 计算监管阈值：随着时间的推移，硬件和算法效率的改进如何影响作为前沿模型监管阈值的训练计算的有效性？

这些问题的答案对当今的政策相关决策具有重要影响，例如出口管制或其他限制计算密集型人工智能模型访问的拟议法规的预期效果。一方面，成本上升的趋势正在整合少数领先的人工智能实验室对前沿人工智能模型的访问。另一方面，硬件改进和算法效率的反补贴趋势正在降低能力障碍，从而实现扩散。

一些监管和政策干预措施可能或多或少可行或可取，具体取决于计算和成本随时间的变化以及对前沿人工智能模型和能力扩散的影响。