OpenAI解散Ilya重要团队！前高管怒斥，宫斗第二季开始！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/扩散/多模态】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：机器之心

奥特曼的激进策略，现在不受控制了？

没有想到，OpenAI 在本周发布 GPT-4o，技术再次大幅度领先之后，随之迎来的却是一系列坏消息。

本周，OpenAI 联合创始人、首席科学家 Ilya Sutskever 官宣离职，与 Ilya 同步宣布离开的，还有超级对齐团队的共同领导者 Jan Leike。

山姆・奥特曼、 Ilya Sutskever 和 Jan Leike。

Ilya 与 Jan 是 OpenAI 超级对齐团队的领导者，该团队的任务是确保人工智能与其制造者的目标保持一致，而不是做出不可预测的行为并伤害人类。

另据《连线》等媒体报道，随着最近两位高管离职，OpenAI 的超级对齐团队已被解散。本周五，Jan Leike 在 X 发布了一系列帖子，怒斥 OpenAI 及其领导层忽视「安全」而偏爱「光鲜亮丽的产品」。

发生了什么事？

实际上，自去年 11 月那场「董事会风波」以来，社交媒体上一直流传着一个梗 ——Ilya 看到了什么。人们猜测：「OpenAI 秘密地取得了巨大的技术突破，而 Ilya 之所以离开，是因为他看到了一些可怕的事情，比如可能毁灭人类的人工智能系统。」

当然，这只是一种粗暴的猜测。OpenAI 频繁失去安全团队成员可能与奥特曼的领导有很大关系。据消息人士透露，注重 AI 系统安全的员工已经对奥特曼的领导失去了信心。

据外媒 Vox 报道，一位不愿透露姓名的公司内部人士表示：「这是一个信任一点一点崩溃的过程，就像多米诺骨牌一张一张倒下一样。」

很少有员工愿意公开谈论此事。部分原因是 OpenAI 让员工在离职时签署带有非贬低条款的离职协议。如果你拒绝签署，你就放弃了你在该公司的股权，这意味着你可能会损失数百万美元。

然而，总有例外。OpenAI 前员工 Daniel Kokotajlo 拒绝签署离职协议，以便他可以自由地批评该公司。Daniel Kokotajlo 于 2022 年加入 OpenAI，主要负责安全部署人工智能系统，并曾在治理团队工作，直到上个月辞职。

据 Vox 报道，Daniel Kokotajlo 称：「OpenAI 正在训练更加强大的人工智能系统，最终目标是全面超越人类智能。这可能是人类有史以来最好的事情，但也可能是最糟糕的事情。」

OpenAI 一直将构建通用人工智能 (AGI) 系统作为目标。「我加入时满怀期待地希望 OpenAI 在越来越接近 AGI 时表现得更加负责任，但我们中的许多人慢慢意识到 OpenAI 没有这样做，我逐渐对 OpenAI 领导层以及他们负责任地处理 AGI 的能力失去了信任，所以我辞职了，」Daniel Kokotajlo 说道。

周五，Leike 在 X 的一条帖子中解释了他辞去超级对齐团队联合领导职务的原因，并描绘了一幅非常相似的画面。他写道：「相当长一段时间以来，我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧，直到我们最终达到了临界点。」

虽然 OpenAI 的技术仍在不断发展，但 Ilya Sutskever 等重量级科学家的流失让人不得不担心它的前途。

为什么奥特曼「不值得信任」

此次紧随 GPT-4o 发布的新一轮动荡，其源头还要追溯到去年的「宫斗」。

在去年 11 月那场董事会风波中，Ilya Sutskever 曾与 OpenAI 原董事会合作试图解雇奥特曼。OpenAI 在公告中称奥特曼对董事会不够坦诚。

当时有人将其解读为：OpenAI 可能已经在内部实现了 AGI，但并没有将消息及时同步给更多人员，为了防止该技术未经安全评估就被大规模应用，Ilya 等人按下了紧急停止键。

不过仅仅一个周末的时间，奥特曼就重返 OpenAI 董事会，并且之前罢免他的董事被纷纷解雇，董事会宣布重组，新任董事会主席 Bret Taylor 表示：「我们一致认为 Sam 和 Greg 是 OpenAI 的合适领导者。」

一场风波之后，奥特曼似乎可以更自由地管理 OpenAI 了，而 Ilya Sutskever 陷入了尴尬。

与之相对的是几个月来，Ilya Sutskever 的动态甚少。据知情人士透露：「Sutskever 已经大约有六个月没有在 OpenAI 的办公室出现了，他一直远程领导超级对齐团队」，直到本周 Ilya 正式宣布离职。

IIya 在 X 上发帖告别 OpenAI，发帖时间为 7：00AM

两分钟后，奥特曼就发帖称：「这对我来说非常难过；Ilya 是我亲密的朋友......」

Altman 紧随 IIya 发帖，发帖时间为 7：02AM

准时官宣离职，迅速回应，这微妙的时间安排似乎说明了一切......

值得注意的是，Ilya 宣布离职时，他表示自己将去追求「一个对我个人而言非常有意义的项目」。也就是说，注重 AI 安全的 Ilya 选择离开 OpenAI 来完成自己的项目。

反观奥特曼，一些 OpenAI 员工认为奥特曼虽然声称要优先考虑 AI 安全，但有些行为却自相矛盾。例如，奥特曼似乎急于积累尽可能多的芯片，加速技术的发展，而忽视安全方面的进展。

此外，Ilya Sutskever 的盟友、超级对齐团队成员 Leopold Aschenbrenner 上个月刚刚被 OpenAI 解雇。外媒报道称他和同团队另一位研究员 Pavel Izmailov 因被指控泄露信息而被解雇。但 OpenAI 却没有提供任何泄露信息的证据。

Aschenbrenner 和 Izmailov 被迫离职的同一个月，另一位安全研究员 Cullen O'Keefe 也离开了 OpenAI。

两周前，安全研究员 William Saunders 在 EA 论坛上发表了一篇神秘的帖子。Saunders 总结了自己在 OpenAI 作为超级对齐团队一部分的工作。然后他写道：「我于 2024 年 2 月 15 日从 OpenAI 辞职。」

一位评论者提出了显而易见的问题：为什么 Saunders 要发布这个？

「无可奉告」，Saunders 回答道。

这让人回想起，去年奥特曼复职后不久，Ilya 发布了这样一条推特，但随后很快被删除：

IIya 在 X 上发帖：「过去的一个月里，我学到了很多教训，其中一个教训是：『鞭打，直到士气提升』这句话的使用频率远超其应有的程度。」

最后，超级对齐团队的联合领导人 Jan Leike 在 Sutskever 宣布离职后仅几个小时就在 X 上发帖：「我辞职了」，没有温暖的告别，也没有对公司领导层的信任投票。

严格的「封口协议」

其他注重安全的前员工转发了 Leike 直白的辞职推文，并附上了心形表情符号。

评论者认为他们可能是受到了一项「不得诋毁协议」的约束。

X 平台上，一位 OpenAI 前员工爆料，并对公司「强制用协议保证的股权 + 工资激励措施」和「离职协议签署的合法性、合理性」做出了质疑。

入职文件说明中包含一项：「在离开公司的六十天内，你必须签署一份包含『一般豁免』的离职文件。如果你没有在 60 天内完成，你的股权获益将被取消。」

这位爆料者还透露了：入职期间和 OpenAI 的人交谈时，他们都没有太在意这个小细节。

那么，认真对待 AI 安全和社会影响的人在 OpenAI 工作是否是一件好事？这或许是个开放问题。

安全团队土崩瓦解后，谁来确保 OpenAI 的工作是安全的？

随着 Leike 不再担任超级对齐团队的负责人，OpenAI 已经用公司联合创始人 John Schulman 替代了他。

但是该团队很快就被员工证实已不复存在。该小组的工作将被纳入 OpenAI 的其他研究工作中。而且 Schulman 正忙于他现有的全职工作，即：「确保 OpenAI 当前产品的安全。」

「成立超级对齐团队的全部意义在于，如果公司成功构建了 AGI（通用人工智能），那么实际上会出现不同类型的安全问题，」这位内部知情人士告诉记者。「所以，这是对未来的专项投资。」

即使团队在全力运作时，这种「专项投资」也占据了 OpenAI 研究的重要部分，根据规定，公司曾经承诺会使用 20% 的算力来进行安全对齐 —— 这可能是当前 AI 公司最重要的资源。

现在，这些算力可能会被转移到 OpenAI 的其他团队，而且是否会将重点放在避免未来 AI 模型带来的灾难性风险上还不清楚。

需要明确的是，这并不意味着 OpenAI 现在正在发布的产品 —— 比如新版 ChatGPT（由 GPT-4o 加持，可以与用户进行语音的自然对话），会毁灭人类。

但接下来将会发生什么？

「重要的是要区分『他们目前正在构建和部署不安全的 AI 系统吗？』和『他们是否正在安全地构建和部署 AGI 或超级智能？』」这位内部知情人士说。「我认为第二个问题的答案是否定的。」

Leike 在周五的 X 平台帖子中也表达了同样的担忧。

他注意到，他的团队一直在努力争取足够的算力来完成工作，并且总体上一直在「逆风航行」。

Jan Leike 在 X 平台上连发 4 贴，对算力资源获取和在 OpenAI 内部工作表示担忧。

最引人注目的是，Leike 说：「我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让 AI 具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。」

当世界上 AI 安全领域的领军人物之一说世界上领先的 AI 公司没有走在正确的轨道上时，所有人想必都有理由感到担忧。

面对媒体曝光的大量信息，OpenAI CEO 奥特曼立即回复，表示接下来几天会写一篇长文说明这些问题。

但除此以外，更多的情况目前还只能靠猜测。

这一系列新变化可能会对 OpenAI 造成冲击，同时令其投资者感到担忧。我们知道，下周微软的 Build 大会即将召开。

参考内容：

https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

https://www.wired.com/story/openai-superalignment-team-disbanded/

https://venturebeat.com/ai/openais-former-superalignment-leader-blasts-company-safety-culture-and-processes-have-taken-a-backseat/

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看