GPQA数据集分享

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-2-28

尽管AI系统在许多任务上表现出色，但在需要大量专业知识和推理能力的任务上仍然存在局限性。为此，纽约大学的研究者提出了多项选择题数据集GPQA，该数据包含生物学、物理学和化学等多个学科领域共448个问题。GPQA数据集的设计考虑到了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性，同时让非专家尝试解决问题，可以确保数据集的问题对于非专家来说是具有挑战性的。

该数据集的问题极其难解，即便是在该领域已取得或正在攻读博士学位的专家，正确率也只有65%。而对同等专业背景但不同学科的非专家来说，正确率仅为34% 。该数据集难度巨大，现有AI模型如GPT-4在该数据集上的正确率也仅为39%。为研究人机合作监督高能AI输出的可扩展方法，

相关数据集与论文获取，GZ： AINLPer公众号 回复：GPQA数据集