OpenAI离职高管揭露：公司更注重“闪亮产品”而非安全

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

OpenAI前资深员工辞职，指责公司忽视安全文化

OpenAI背后的公司优先考虑“闪亮产品”而非安全，一位前高级员工表示，他因在关键目标上的分歧达到“破裂点”而辞职。

Jan Leike曾是OpenAI的superalignment共同负责人，确保强大的人工智能系统遵循人类的价值观和目标。在首尔即将举行的全球人工智能峰会之前，Leike的介入引起了广泛关注，该峰会将汇集政界人士、专家和科技高管讨论技术监管问题。

安全文化退居次要地位

Leike在旧金山公司推出其最新AI模型GPT-4o后几天就辞职了。他的离职意味着本周OpenAI的两位高级安全人物已经离开，包括联合创始人兼超级对齐共同负责人Ilya Sutskever。

Leike在X（前身为Twitter）上的帖子中详细解释了他离职的原因，称安全文化已变得不再重要。

“过去几年里，安全文化和流程已经退居次要地位，优先考虑闪亮的产品，”他写道。

OpenAI的初衷与现实的冲突

OpenAI成立的目标是确保“比人类更聪明的AI系统”惠及全人类。在他的帖子中，Leike表示，他与OpenAI领导层在公司优先事项上的分歧已经持续了一段时间，但现在终于到了“破裂点”。

Leike认为，OpenAI应该在安全、社会影响、保密和下一代模型的安全性等问题上投入更多资源。

“这些问题相当难以解决，我担心我们没有在正确的轨道上，”他写道，并补充说他的团队进行研究变得“越来越困难”。

“构建比人类更聪明的机器本质上是一项危险的工作。OpenAI肩负着代表全人类的巨大责任，”Leike写道，并补充说OpenAI“必须成为一家以安全为第一的AGI公司”。

高层回应

OpenAI首席执行官Sam Altman在X上回复了Leike的帖子，对他为公司安全文化所做的贡献表示感谢。

“他是对的，我们还有很多事情要做；我们致力于做到这些，”他写道。

Sutskever也在X上宣布辞职，表示他相信在现任领导层下，OpenAI“将构建既安全又有益的AGI”。去年11月，他曾支持撤销Altman的职务，但在公司内部动荡几天后又支持他复职。

国际AI专家小组的警告

Leike的警告发布之际，一个国际AI专家小组发布了首份AI安全报告，报告称对于强大的AI系统逃避人类控制的可能性存在分歧。然而，报告警告称，监管机构可能会被快速的技术进步甩在后面，指出“技术进步的速度与监管响应的速度之间可能存在的差距”。