OpenAI 与 Epoch AI 合作风波：透明度缺失引发“造假”质疑-CSDN博客

本文链接：https://blog.csdn.net/m0_66917422/article/details/145294075

近日，人工智能领域再次掀起波澜，OpenAI 与 Epoch AI 在 FrontierMath 基准测试项目上的合作，因透明度问题引发了广泛争议。事件的核心在于，OpenAI 在资助 FrontierMath 项目的同时，获得了测试题库的特权访问权，而这一情况并未向所有参与项目的数学家公开。这一事件不仅引发了对 OpenAI 模型评估结果的质疑，也暴露了 AI 领域合作中存在的伦理和透明度挑战。
Epoch AI 承包商在 Less Wrong 论坛上发布的帖子

事件起因：合作背后的隐秘

事件的导火索是一位名为 Meemi 的 Epoch AI 承包商在 Less Wrong 论坛上发布的帖子。该帖子指出，OpenAI 不仅为 FrontierMath 基准测试提供资金支持，还获得了测试题库的特权访问权。这一消息很快在 AI 社区引发轩然大波，许多人开始质疑 OpenAI 的 o3 模型在 FrontierMath 基准测试中取得的优异成绩。

此前，OpenAI 宣称 o3 模型在 FrontierMath 基准测试中取得了 25% 的准确率，相比之前的 2% 成绩大幅提升，并比 o1 模型提高了 12 倍。然而，AI 领域的专家 Gary Marcus 一直对这些结果持怀疑态度，他曾表示：“除了 OpenAI 内部人员，没有任何人评估过 o3 在不同类型问题上的鲁棒性（功能稳健能力）。”

Epoch AI 的回应：承认透明度缺失

面对质疑，Epoch AI 公司副主任兼联合创始人之一 Tamay Besiroglu 承认了资助问题，并表示由于合同限制，他们没有公开透露 OpenAI 的资助来源以及其对部分数据集的访问权限。

在 LessWrong 博客的回应中，Besiroglu 还承认，OpenAI 确实接触过 FrontierMath 基准测试的大部分问题和答案，但为了验证模型的能力，使用了一个“OpenAI 未见过的保留数据集”。
不知道 OpenAI 是项目资助方

Epoch AI 首席数学家 Elliot Glazer 也对此进行了回应，称对那些自主参与该测试集建设，但未被告知该数据集与 OpenAI 有相关性的数学家们致以歉意。据了解，有六位参与该项目的数学家在 X 上表示，他们并不知道 OpenAI 是项目资助方，并拥有这个数据集的访问权。

争议焦点：透明度与数据使用

这场争议的焦点在于透明度的缺失以及数据使用的合规性。尽管 Epoch AI 声称 OpenAI 仅能访问部分数据，且有口头协议不会将这些数据用于模型训练，但这一说法并未完全消除人们的疑虑。
争议焦点：透明度与数据使用

透明度问题：

披露时间过晚： Epoch AI 直到 FrontierMath 的第三次迭代（o3）发布前后才被允许披露与 OpenAI 的合作关系。这一时间点明显滞后，使得参与项目的数学家们在不知情的情况下贡献了自己的劳动成果。
沟通不一致： 虽然 Epoch AI 向部分数学家透露了他们获得了实验室的资助，但并未系统地向所有参与者说明这一情况，也没有明确指出合作的实验室是 OpenAI。这种不一致的沟通，加剧了人们的不信任感。
未将透明度作为合作的前提： Epoch AI 承认，他们应该将与贡献者的透明度作为与 OpenAI 达成协议的不可协商的一部分。数学家们理应知道谁可能会访问他们的工作成果。

数据使用问题：

数据访问权限： OpenAI 确实可以访问 FrontierMath 的大部分问题和解决方案，尽管 Epoch AI 声称有一个未被 OpenAI 看到的保留集，用于独立验证模型能力。
数据使用目的： 尽管双方有口头协议，这些材料不会被用于模型训练，但口头协议的约束力存在不确定性，且缺乏公开透明的监督机制。
数据安全性： 即使 OpenAI 没有直接将数据用于模型训练，但其对数据的访问权限本身就存在数据泄露的风险，引发了人们对数据安全性的担忧。