【AI前沿洞察】OpenAI —— Ilya离开+超级对齐团队解散

来源：体积比

1、Ilya 的离开

OpenAI 首席科学家 Ilya Sutskever 在 gpt-4o 发布的第二天后通过推特官宣正式离开 OpenA，打破了自逼宫 Sam Altman 事件后近半年的沉默。

2、宫斗事件前后

让我们把时间线拉回到宫斗事件前（2023 年 11 月份），沿着该事件，从 OpenAI 的公开分享+发布会、产品定义、管理层+员工的推特上找到 OpenAI 转换的蛛丝马迹，一探其中的究竟

2023 年 11 月 6 日 —— OpenAI 首届开发者大会

产品团队的模型行为产品负责人 Joannan Jang和后训练团队负责人 Barret Zoph（负责将预训练模型与部署到ChatGPT、API和其他研究团队使用进行对齐）。分享了关于 OpenAI 内部产品和研发合作协同的一些思考，彼时还未上演 Ilya Sutskever 与 openai 的宫斗大戏....

核心分享提炼：
产品侧
●在Open AI，公司目标是有一些模糊的 （AGI 还是商业化或是其他，这里目标是不确定的） 影响了产品的定义规划、优先级确认和产品战略
●核心几个问题如下
        ○模型能力在不同纬度上的增长，对产品的目标达成的影响是什么？
        ○Technology first 技术驱动， 技术创新突破后，很多现存的用户问题是否需要考虑？（在技术突破了现有范式的情况下， 可能先从能力入手，找钉子）
        ○研发和产品协同的目标
                ■给每个用户打造更加个性化的模型行为
                ■多模态
                ■更智能，端到端解决更深度的一些问题

2023 年 11 月 17 日 ～11 月 30 日 ——宫斗事件：

最终以 Sam Altman 重回董事会担任 CEO 结束该闹剧

整体 OpenAI 从最开始的 AGI+超级对齐，逐步转变为由 Sam Altman 领导的较为激进的 e/acc 的风格所替代，产品和 PR 成为 OpenAI 公司中最有话语权的团队，Sam Altman 随后也不断参加各种博客分享、AI 大会、政府讨论，其中不乏 7 万亿芯片计划，投资核能公司，免费开放 ChatGPT、造势 SearchGPT、发布会狙击谷歌，运用手段开除“内鬼”员工等等事件

OpenAI抓内鬼出奇招，奥特曼耍了所有人：GPT搜索鸽了！改升级GPT-4

让世人看到了他作为企业 CEO 在复杂商业社会中的成熟治理和运作的手段

3、负面新闻频出

• 员工爆料 GPT-4o 模型发布前两周，没有人能找到 Altman，因为他在不停的前往各种论坛、录制博客进行 PR
• GPT-4o 爆出词表翻车问题：

OpenAI的光环出现裂痕：谈GPT4o的token词表更新问题【2024.5】

仔细看更新的词表，会发现其中有很多垃圾语料的常见词，例如各种博彩、色情广告的常见文本片段
感兴趣的可以通过魔法观看原始词表中出问题的中文 token

中文词表-githubhttps://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374

●        2024 年 5 月 18 号爆料，OpenAI 离职协议苛刻，员工离职后必须签署一份终生的协议（承诺不能诋毁 OpenAI） ，否则将会失去所拥有的 OpenAI 的股权

安全团队的主要员工离职

• 2024 年 5 月 15 号，OpenAI 负责超级对齐的安全主管 Ilya 的好友 Jan Leike 宣布离职；以下是 OpenAI 安全专家集体跳车的历史：

• OpenAI 超级对齐（Super Alignment） 团队解散；安全主管 Jan Leike 离职，并且在推特上讲述其离职的核心原因 —— 超级对齐团队与 OpenAI 董事会的分歧

全文如下：

昨天是我作为OpenAI的对齐部门主管、超级对齐团队负责人和执行官的最后一天。

过去的三年多真是一段疯狂的旅程。我的团队推出了首个使用RLHF的LLM InstructGPT，发布了首个可扩展的LLM监督，开创了自动解释和从弱到强的泛化。更多令人兴奋的成果即将发布。

我爱我的团队。我非常感激能与很多了不起的人共事，无论是超级对齐团队内外。OpenAI有很多非常聪明、善良和高效的人才。

离开这份工作是我做过的最困难的决定之一，因为我们急需找出如何引导和控制比我们聪明得多的AI系统的方法。

我加入OpenAI是因为我认为这是全世界最适合做这项研究的地方。

然而，我与OpenAI领导层在公司的核心优先事项上已经有了相当长时间的分歧，直到我们终于达到了一个临界点。

我认为我们应该花更多的精力为下一代模型做好准备，包括安全性、监控、准备、安全性、对抗性鲁棒性、（超级）对齐、保密性、社会影响等相关问题。

这些问题非常难以解决，我担心我们现在的轨迹不足以应对这些挑战。

过去几个月，我的团队一直在逆风航行。有时我们在争取计算资源，完成这项重要研究变得越来越困难。

构建比人类更聪明的机器本质上是一个危险的任务。

OpenAI肩负着全人类的巨大责任。

但在过去几年中，安全文化和流程让位于光鲜的产品。

我们早就应该非常认真地对待AGI的影响。

我们必须优先为其做好准备。

只有这样，我们才能确保AGI惠及全人类。

OpenAI必须成为一家以安全为先的AGI公司。

致所有OpenAI员工，我想说：

学会感受AGI。

以你们所构建的事物应有的严肃态度行事。

我相信你们可以“推动”所需的文化变革。

我对你们充满信心。

世界对你们充满期待。

:openai-heart:

4、AI和人类文明延续

笔者曾在2018年接触过一个公益组织—— 80000小时，（牛津大学未来人类研究所旗下的非盈利组织，通过指明世界上人类文明延续所面临的几大危机，来指导学生就业）AI安全问题当时已经位居前3（其他top2 为 气候危机和全球性流行病）

如今更是从“影响面”+“被忽视程度”+“问题可解决程度“三项指标综合评分，已然上升为top 1。

相比于投入到AGI的研究中的人才、算力和资金，AI 安全研究远远不够，我们面临的也许是文明灭绝等级的危机.......

也许我们已然过了能回头的那一步了，也许未来我们会走向需要终结者穿越回归来解决天网的诞生，E/ACC vs AI安全，路漫漫。