OpenAI开源超级对齐方法：用GPT-2，监督、微调GPT-4

12月15日，OpenAI在官网公布了最新研究论文和开源项目——如何用小模型监督大模型，实现更好的新型对齐方法。

目前，大模型的主流对齐方法是RLHF（人类反馈强化学习）。但随着大模型朝着多模态、AGI发展，神经元变得庞大、复杂且难控制，RLHF便有点力不从心。

做个不太恰当的比喻，就像是工厂的保安一样：一个20人的小工厂，3个保安就能应付；如果发展到5000人的大工厂呢？仅靠人工就不太行，需要摄像头、智能门禁、温/湿传感器等设备，实现更高效的安全监控。

同理，OpenAI为了提升大模型的安全性，提出了“弱监督”的技术概念。并使用小参数的GPT-2去监督、微调GPT-4，同时使用辅助置信损失、无监督微调等增强方法，可以恢复GPT-4近80%的性能，达到GPT-3 和GPT-3.5之间的能力。

这表明，“弱监督”对齐方法是可行的。虽然目前还无法像RLHF那样拟人化、灵活，但这指明了一条全新对齐方向，用AI监督、微调AI，是未来提升大模型安全、性能的重要渠道之一。

开源地址：https://github.com/openai/weak-to-strong

论文下载地址：https://cdn.openai.com/papers/weak-to-strong-generalization.pdf

此外，OpenAI还公布成立了一个1000万美元的“超级