GPQA （Graduate-Level Google-Proof Q&A Benchmark）数据集

最新推荐文章于 2025-02-22 21:34:12 发布

ZHOU_CAMP

最新推荐文章于 2025-02-22 21:34:12 发布

阅读量1.3k

点赞数 19

分类专栏： llm_benchmark 文章标签：人工智能

本文链接：https://blog.csdn.net/qq_41472205/article/details/145658909

版权

llm_benchmark 专栏收录该内容

8 篇文章

订阅专栏

标题：挑战人类与AI的极限：GPQA——一个面向未来的高难度科学问答基准

引言
在人工智能快速发展的今天，大型语言模型（如GPT-4）已能在许多任务中媲美甚至超越人类表现。然而，当面对需要高度专业知识的问题时，如何确保AI的输出真实可靠？这一问题在科学探索等关键领域尤为重要。纽约大学等机构的研究团队推出了名为GPQA（Graduate-Level Google-Proof Q&A Benchmark）的基准测试，旨在通过一系列“防谷歌”的难题，推动AI与人类协作的监督方法研究。

GPQA是什么？

GPQA是一个包含448道多选题的科学问答数据集，覆盖生物学、物理学和化学的细分领域（如量子力学、有机化学、分子生物学等）。这些题目由61名拥有或正在攻读博士学位的专家编写，并通过严格验证流程确保其高质量和超高难度。例如：

化学题示例：
“在80°C和20巴压力下，某液态有机化合物反应后，其核磁共振氢谱中最高化学位移的信号下移3-4个单位。问题涉及工业流程中可能添加的金属化合物……”
这类题目要求对化学元素周期表、工业催化反应和核磁共振原理有深入理解。
生物学题示例：
“将物种A的精子注入物种B的卵细胞后，合子的致死原因是什么？”
正确答案需要结合染色体不相容性和减数分裂机制的知识。

为什么GPQA如此重要？

测试人类与AI的极限
- 专家表现：领域内专家的正确率为65%（修正后74%），但即使他们也会因题目难度而犯错。
- 非专家表现：其他领域的博士级研究者（允许使用互联网）平均正确率仅34%，且每个问题耗时37分钟。
- AI表现：当前最强的GPT-4模型在少样本思维链提示下正确率为39%，略高于非专家，但远低于专家。
推动“可扩展监督”研究
当AI能力超越人类时，如何确保其输出的真实性？传统方法（如人类反馈强化学习）依赖标注者的判断，但若问题超出人类知识范围，这种方法可能失效。GPQA通过提供接近人类知识边界的难题，帮助研究者设计新的监督协议，例如让非专家通过AI辅助验证答案。

数据集的构建与验证

四阶段流程：
- 题目编写：专家设计问题并解释正确/错误选项的逻辑。
- 专家验证：其他专家解答并提供反馈，确保问题客观。
- 题目修订：根据反馈调整问题，提高难度和清晰度。
- 非专家验证：其他领域的专家尝试解答（允许搜索），筛选出真正“防谷歌”的题目。
激励机制：
编写者通过奖金驱动，确保问题“既难又准”。例如，若两位专家验证均正确，且多数非专家答错，编写者可获得额外奖励。