Open AI 前 Superalignment部门研究员Leopold Aschenbrenner的关于Superintelligence担忧的真挚长文

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

全文：https://situational-awareness.ai/

“到了这个时候，你可能会觉得我和所有科幻迷都完全疯了。但是，请稍微想一下：如果他们是对的呢？这些人发明并构建了这项技术，他们认为在这个十年内会开发出通用人工智能。虽然意见有很大的分歧，但他们中的许多人都非常认真地对待超级智能可能会像我在这系列文章中描述的那样发展。

几乎可以肯定的是，我对这个故事的重要部分有误，如果现实真的如此疯狂，那么误差范围会非常大。而且，正如我在开头所说的，我认为有很多种可能性。但我认为具体化很重要。在这系列文章中，我描述了我目前认为在这个十年内最有可能发生的情景。

因为——它开始变得真实，非常真实。几年前，对我来说，这些想法虽然认真对待，但还是抽象的，被隔离在模型和概率估计中。现在感觉非常直观。我可以看到通用人工智能将如何被构建。不再是关于人类大脑大小的估计和假设以及理论推测——我基本上可以告诉你通用人工智能将在哪个集群上进行训练，何时会被构建，使用的大致算法组合，未解决的问题以及解决它们的路径，还有那些重要人物的名单。我能看到它，真的非常直观。当然，在2023年初全面押注Nvidia是很棒的，但历史的负担是沉重的，我不会选择这样的生活。

最可怕的认识是，没有什么精英团队来处理这个问题。小时候，人们对世界有一种美好的看法，认为当事情变得严重时，会有英雄科学家、超级能干的军人、冷静的领导者来拯救世界。事实并非如此。世界非常小，当面具脱落时，通常只是幕后的一些人在努力防止事情崩溃。

现在，可能只有几百个人知道即将发生的事情，他们了解情况将会多么疯狂，拥有情况意识的人。我可能认识或与所有有可能运行这个项目的人只有一步之遥。那些在幕后拼命维持局面的人，就是你和你的朋友以及他们的朋友。就是这样，仅此而已。

有一天，这将超出我们的掌控。但现在，至少在接下来的几年中，世界的命运掌握在这些人手中。

我们能驯服超级智能，还是会被它驯服？

人类能再次避开自我毁灭的命运吗？

赌注不止于此。

这些人伟大且值得尊敬，但他们只是普通人。很快，人工智能将接管世界，但我们还会经历最后一次较量。愿他们的最后管理为人类带来荣耀。”

文章《Situational Awareness: The Decade Ahead》详细探讨了未来十年人工智能（AI）和人工通用智能（AGI）的发展及其可能带来的影响，分为几个主要部分进行阐述：

导论

文章介绍了AGI竞赛的紧迫性和重要性。预计到2025/26年，AGI将超越许多大学毕业生的能力，并在十年内达到超级智能的水平。这场竞赛将引发前所未有的国家安全和经济挑战，特别是在世界Super Power之间。

从GPT-4到AGI：计算量的增长

1. 计算能力的提升：

• GPT-2到GPT-4的进步：这一进步被比作从学龄前儿童到聪明的高中生。计算能力（计算量的数量级提升，每年约0.5个数量级）、算法效率（每年约0.5个数量级）和“解锁”收益共同推动了这一进步。
• 数学基准测试的进步：例如，MATH基准测试中的表现从2021年的约5%准确率到2022年的50%，再到最近的90%以上。这显示了深度学习在解决复杂问题上的快速进步。

1. 未来趋势：如果保持这一趋势，到2027年实现AGI是完全有可能的。这意味着在未来几年内，AI系统将达到甚至超越人类智能的水平。

从AGI到超级智能：智能爆炸

1. 智能爆炸：

• 自动化AI研究：AGI不会止步于人类水平的智能。数百万AGI可以自动化AI研究，将十年的算法进步压缩到一年内。
• 快速发展：例如，假设有100万自动化的Alec Radfords，这些AI研究人员可以极大地加速AI研究进程，可能在一年内实现多达5个数量级的进步。

1. 潜在瓶颈：

• 计算能力的限制：尽管自动化AI研究的前景令人兴奋，但计算能力的限制、互补性和长尾效应可能会减缓这一进程。
• 人类研究者的角色：即使AI研究人员变得非常强大，某些任务仍然需要人类研究者的参与，导致整体进展受限。

挑战

1. 计算基础设施的需求：

• 工业动员：AI收入的快速增长将推动GPU、数据中心和电力基础设施的建设。预计到本世纪末，这些领域的投资将达到数万亿美元。
• 电力需求：为了支持大规模AI计算集群，美国需要大幅增加电力生产能力。

1. 安全问题：

• 基础设施安全：开发确保AGI安全的基础设施需要多年的准备。如果在未来3-4年内实现AGI，必须立即启动安全计划，否则将面临巨大的安全风险。
• 算法秘密保护：保护算法秘密比保护计算权重更为重要。如果这些秘密泄露，可能会极大地增强对手国家的AI能力。

1. 超级对齐（Superalignment）：

• 技术问题：控制比人类更智能的AI系统是一个未解决的技术问题。随着智能爆炸的到来，现有的对齐方法可能会失效，需要开发新的对齐技术。
• 风险：一旦这些超级智能系统失控，可能会对人类社会造成严重威胁。

项目（The Project）

1. 国家安全竞赛：

• 项目的必要性：在智能爆炸初期，情况将非常不稳定，国家安全将面临极大的挑战。需要一个有能力的指挥链来应对这些快速变化和高风险的情况。
• 国际局势的稳定：智能爆炸及其后果将是人类面临的最不稳定和紧张的局面之一。全球需要团结起来，共同应对这一挑战，并确保AI技术不被敌对国家或恐怖组织利用。

自由世界必须获胜

1. 经济和军事优势：AI和超级智能的发展将带来决定性的经济和军事优势。美国必须保护其算法和计算资源不被窃取，以保持在AGI竞赛中的领先地位。
2. 中国的竞争：虽然目前美国在AI和规模化方面领先于中国，但中国有能力通过工业动员在大型训练集群建设上超越美国。

结论

最终，文章强调了AGI和超级智能发展的紧迫性和复杂性。为了应对这些挑战，各国必须在技术、安全和政策方面做好充分准备，以应对可能出现的种种复杂局面。

更多详细信息请访问Situational Awareness。