本文深入剖析OpenAI提出的超级对齐（Superalignment）概念，旨在构建与人类水平相当的自动对齐研究器，以解决AI对齐问题。超级对齐的目标是构建能进行自动机器学习研究、实验和观察的系统，最终实现AI的创造力与人类水平相当。文章探讨了为何需要超级对齐，包括对当前AI安全的担忧，并提出了实现超级对齐的三个关键步骤：可扩展的训练方法、验证系统和压力测试。OpenAI的超级对齐计划旨在确保AI的发展符合人类的价值观和目标，降低潜在风险。
导读
超级智能是一把双刃剑，有助于解决许多重要问题，同时也可能削弱人类的权力并威胁我们的安全。为了治理这些风险，急需建立新的治理机构并解决AI模型的对齐问题。OpenAI于今年7月首次提出超级对齐的概念，并宣布投入20%的计算资源，花费4年的时间全力打造一个超级对齐（Superalignment）系统，意在解决超级智能的对齐问题。
图：OpenAI官网宣布开始构建超级对齐系统
随着OpenAI官方团队的介绍和多方解析不断发布，超级对齐的面貌也逐渐清晰地呈现在大家的面前，本文结合现有资料详细介绍超级对齐的概念、为什么要实现超级对齐以及如何实现超级对齐，希望这一愿景能够促进发展符合人类目标和价值观的安全AI，并不断吸纳更多研究者加入这一行列。
什么是超级对齐
1.1 超级对齐的目标
超级对齐旨在构建一个能够与人类水平相媲美的自动对齐研究器。其目标是尽可能地将与对齐相关的工作交由自动系统完成。在使用LLM或构建通用AI系统时，人们意识到它们的技能组合并不一定与人类相同。它们在某些方面可能更为强大，例如现有的语言模型在翻译或知识储备方面表现出色。然而，AI系统在其他一些任务上可能相对薄弱，比如算术方面的能力。
因此，研究者们面临的问题是，应该将哪些类型的任务交由AI系统，并按照什么顺序进行？这样一来，这个系统可以预测人类将更多地专注于那些无法交由AI系统完成的任务。在这个过程中，AI系统完成的工作占整体工作的比例将会越来越大，而人类研究者将能够更有效地取得真正的进展。
在第一个阶段，研究者们希望这个研究器能够实现机器学习模型，进行实验并观察结果。第二个阶段，研究者们希望这个研究器能够解决更高级、更广泛的问题，例如确定需要进行哪些实验来提升可扩展监督，或者在可解释性方面取得进展。目前第一个阶段上已经有了卓有成效的研究，而第二个阶段研究者们仍尚在探索中。
图：GPT-4模拟输出从而提供可扩展监督的能力示例
1.2 超级对齐的能力
对于相关研究者来说，自动对齐的长期目标在于模型的创造力。OpenAI相关研究团队表示，至少对于语言模型或AI而言，它们比人类更具创造力。如果你去观察扩散模型生成的图像，或者从预训练的基础模型中采样，其中包含了很多奇思妙想，这些创意恐怕从单人或小团队身上很难获得。因此，它们实际上可以从整个分布中进行采样，而个人通常做不到这一点。就长期目标而言，研究者们可以将一些小而明确的任务交给AI系统，如果它们能够将这些任务真正做好，那么未来帮助很大。
目前ÿ
最低0.47元/天 解锁文章
扫一扫
322
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
