OpenAI新安全委员会由所有内部人士组成，负责监督与公司项目和运营相关的安全决策

最新推荐文章于 2024-08-11 00:15:00 发布

喜好儿网

最新推荐文章于 2024-08-11 00:15:00 发布

阅读量840

点赞数 27

文章标签： OpenAI 新安全委员会安全决策

本文链接：https://blog.csdn.net/heehelcom/article/details/139298048

版权

OpenAI 成立了一个新委员会，负责监督与公司项目和运营相关的“关键”安全决策。但是，OpenAI 选择由公司内部人士（包括 OpenAI 首席执行官 Sam Altman）而不是外部观察员组成委员会，此举肯定会引起伦理学家的愤怒。

Altman 和安全与安保委员会的其他成员——OpenAI 董事会成员 Bret Taylor、Adam D'Angelo 和 Nicole Seligman 以及首席科学家 Jakub Pachocki、Aleksander Madry（领导 OpenAI 的“准备”团队）、Lilian Weng（安全主管）根据该公司企业博客上的一篇文章，OpenAI 的安全流程和保障措施将由 Matt Knight（安全主管）和 John Schulman（“对准科学”主管）负责评估未来 90 天内的安全流程和保障措施。 OpenAI 表示，该委员会随后将与 OpenAI 全体董事会分享其调查结果和建议，以供审查，届时它将“以符合安全和安保的方式”发布任何已采纳建议的最新信息。

喜好儿网更多消息：
https://heehel.com/category/ai-news

喜好儿网AIGC专区：
https://heehel.com/category/aigc

“OpenAI 最近开始训练其下一个前沿模型，我们预计最终的系统将使我们在 [通用人工智能] 的道路上达到新的能力水平，”OpenAI 写道。 “虽然我们很自豪能够构建和发布在功能和安全性方面均处于行业领先的模型，但我们欢迎在这个重要时刻进行激烈的辩论。”

在过去的几个月里，OpenAI 的技术团队安全方面发生了多次引人注目的离职，其中一些前员工对他们认为故意降低人工智能安全优先级表示担忧。

曾在 OpenAI 治理团队工作的 Daniel Kokotajlo 在其个人博客中发表的一篇文章中写道，他对 OpenAI 在发布功能日益强大的人工智能方面“负责任地行事”失去了信心，并于 4 月辞职。 OpenAI 联合创始人、公司前首席科学家 Ilya Sutskever 在与 Altman 和 Altman 的盟友进行旷日持久的斗争后于 5 月离职——据报道，部分原因是 Altman 急于推出人工智能产品，而牺牲了安全工作。

最近，前 DeepMind 研究员 Jan Leike 在 OpenAI 期间参与了 ChatGPT 和 ChatGPT 前身 InstructGPT 的开发，他辞去了安全研究职务，并在 X 上的一系列帖子中表示，他认为 OpenAI“不是”正轨”，以“正确”解决与人工智能安全相关的问题。上周离开 OpenAI 的人工智能政策研究员格雷琴·克鲁格 (Gretchen Krueger) 呼应了雷克的声明，呼吁该公司提高问责制和透明度，并“谨慎使用自己的技术”。

Quartz 指出，除了 Sutskever、Kokotajlo、Leike 和 Krueger 之外，自去年年底以来，OpenAI 中至少有五名最具安全意识的员工要么辞职要么被解雇，其中包括前 OpenAI 董事会成员 Helen Toner 和 Tasha McCauley。在周日发表的《经济学人》专栏中，托纳和麦考利写道，在 Altman 的掌舵下，他们不相信 OpenAI 能够承担起自己的责任。

“根据我们的经验，我们认为自治无法可靠地承受利润激励的压力，”托纳和麦考利说。

针对 Toner 和 McCauley 的观点，TechCrunch 本月早些时候报道称，OpenAI 的 Superalignment 团队负责开发管理和引导“超级智能”AI 系统的方法，他们承诺获得公司 20% 的计算资源，但很少收到其中的一小部分。 Superalignment 团队现已解散，其大部分工作由 Schulman 和 12 月成立的安全咨询小组 OpenAI 负责。

OpenAI 倡导人工智能监管。与此同时，它还努力制定监管规定，在越来越多的律师事务所聘请了内部说客和说客，仅在 2023 年第四季度就花费了数十万美元用于美国游说。最近，美国国土安全部宣布，奥特曼将成为其新成立的人工智能安全委员会的成员之一，该委员会将为整个美国关键基础设施的“安全可靠的人工智能开发和部署”提供建议。

为了避免与高管主导的安全与安保委员会出现道德遮羞布，OpenAI 承诺保留第三方“安全、安保和技术”专家来支持该委员会的工作，包括网络安全资深人士 Rob Joyce 和前美国司法部官员约翰·卡林。然而，除了乔伊斯和卡林之外，该公司没有详细说明这个外部专家小组的规模或组成，也没有透露该小组对委员会的权力和影响力的限制。

彭博社专栏作家 Parmy Olson 在 X 上的一篇文章中指出，安全与安保委员会等企业监督委员会与先进技术外部咨询委员会等谷歌人工智能监督委员会类似，“实际上没有采取任何实际监督措施。”值得注意的是，OpenAI 表示，它正在寻求通过委员会解决对其工作的“有效批评”——当然，“有效批评”是情人眼里出西施。

Altman 曾承诺，外部人士将在 OpenAI 的治理中发挥重要作用。在 2016 年《纽约客》的一篇文章中，他表示 OpenAI 将“[计划]一种方式，让世界各地能够选举代表进入……治理委员会。”但这从未成为现实——而且目前看来也不太可能实现。