GPQA数据集分享

最新推荐文章于 2025-02-22 21:34:12 发布
最新推荐文章于 2025-02-22 21:34:12 发布
阅读量2.5k 收藏 12
点赞数 8
分类专栏： 自然语言数据集分享 文章标签： 大模型测试数据集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinizhilianlove/article/details/136545570
版权

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-2-28

在这里插入图片描述

尽管AI系统在许多任务上表现出色，但在需要大量专业知识和推理能力的任务上仍然存在局限性。为此，纽约大学的研究者提出了多项选择题数据集GPQA，该数据包含生物学、物理学和化学等多个学科领域共448个问题。GPQA数据集的设计考虑到了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性，同时让非专家尝试解决问题，可以确保数据集的问题对于非专家来说是具有挑战性的。

该数据集的问题极其难解，即便是在该领域已取得或正在攻读博士学位的专家，正确率也只有65%。而对同等专业背景但不同学科的非专家来说，正确率仅为34% 。该数据集难度巨大，现有AI模型如GPT-4在该数据集上的正确率也仅为39%。为研究人机合作监督高能AI输出的可扩展方法，

相关数据集与论文获取，GZ： AINLPer公众号 回复：GPQA数据集

【技术报告解读】DeepSeek-R1：通过强化学习激励LLMs的推理能力
AI天才研究院
02-05 1366
我们介绍第一代推理模型、DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero，通过大规模强化学习 (RL) 训练的模型，无需超级微调 (SFT) 作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它面临着可读性差、语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前整合了多阶段训练和冷启动数据。
【初级篇】DeepSeek 模型的终极指南
网易搬砖头
02-11 1814
随着 DeepSeek-R1 和 DeepSeek-V3 等开源版本的发布，它们继续缩小专有闭源模型和开源模型之间的差距，促进了广泛的采用和研究。从编码辅助到形式定理证明和多语言理解，DeepSeek 的模型套件既展示了技术雄心，也展示了社区驱动的发展，标志着 LLM 演变的关键时刻。DeepSeek 开发了一种创新方法，将 DeepSeek-R1 系列模型中的推理能力提炼到标准大型语言模型 (LLM) 中，特别是 DeepSeek-V3。DeepSeek 的模型集成到各种聊天平台，增强了用户交互。
GPQA 数据集
百态老人的博客
11-28 1735
GPQA（Graduate-Level Google-Proof Q&A Benchmark）是一个用于评估高级问答系统的基准数据集。该数据集由纽约大学的研究者提出，包含生物学、物理学和化学等多个学科领域共 448 个问题。GPQA 数据集的设计考虑了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性，同时让非专家尝试解决问题，可以确保数据集的问题对于非专家来说是具有挑战性的。即便是在该领域已取得或正在攻读博士学位的专家，在 GPQA 上的正确率也只有 65%。
博士专家水平的生物物理化学难题数据集GPQA: A Graduate-Level Google-Proof Q&A Benchmark介绍：中英双语
阿正的梦工坊
12-19 1592
GPQA is a challenging multiple-choice Q&A dataset with questions meticulously designed and validated by experts in biology, physics, and chemistry.
GPQA （Graduate-Level Google-Proof Q&A Benchmark） 数据集
No trade is free, but my contents are.
02-15 1469
它提醒我们：在追求技术突破的同时，如何确保AI始终服务于人类的知识探索，仍是亟待解决的挑战。正如论文作者所言，只有当监督协议能够驾驭“超越人类的AI”时，我们才能真正释放其推动科学进步的潜力。当AI能力超越人类时，如何确保其输出的真实性？GPQA通过提供接近人类知识边界的难题，帮助研究者设计新的监督协议，例如让非专家通过AI辅助验证答案。（Graduate-Level Google-Proof Q&A Benchmark）的基准测试，旨在通过一系列“防谷歌”的难题，推动AI与人类协作的监督方法研究。
AI 系统评估基准-研究生水平的专家推理（GPQA）
百态老人的博客
01-09 3688
在人工智能领域，研究生水平的专家推理（GPQA）是一个重要的评估基准。GPQA全称是Graduate-Level Google-Proof Q&A Benchmark，由448个困难的多项选择题组成，这些问题无法通过Google搜索轻松回答，且由生物学、物理学和化学等各个领域的主题专家精心设计。通常来说，在相应领域拥有或正在攻读博士学位的专家在GPQA的准确率在70%上下。OpenAI推出的全新推理模型o1在GPQA测试中表现惊人，达到了78%的准确率。
GPQA：研究生级别的Google-Proof问答基准
gitblog_00150的博客
10-11 2559
GPQA：研究生级别的Google-Proof问答基准 项目地址:https://gitcode.com/gh_mirrors/gp/gpqa 项目介绍 GPQA（Graduate-Level Google-Proof Q&A Benchmark）是一个专为研究生级别设计的问答基准数据集，旨在评估和提升自然语言处理模型在复杂问题上的表现。该数据集由一系列精心设计的问答对组成，涵盖了广泛的知...
【AI大模型评测】基准测试
AI_Gump的博客
04-28 4116
【多模态LLM】MMMU：面向专家通用人工智能的大规模跨学科多模态理解和推理基准 - 知乎 (zhihu.com)精心收集了来自大学考试、测验和教科书的11.5K个多模态问题跨越艺术与设计、商业、科学、健康医学、人文社会科学、技术工程等30个学科和183个子领域包含30种异构的图像类型，如图表、图示、地图、表格、乐谱和化学结构式关注特定领域知识的高级感知和推理MMMU基准对现有大语言模型是一个巨大的挑战:#GPT4V的准确率只有56%，显示了言语模型进一步发展的广阔前景。
AI基准测评（下）：视频生成、代码能力、逻辑推理，AI是否已经超越人类？
金融机器智能社区
07-03 1338
通过探讨“AI是否超越了人类”这个话题，可以更清晰地了解到哪些能力是AI具备的、哪些是不具备的。无论是算法岗、还是非算法岗人员，通过深入了解各领域各任务下的基准数据集以及 AI 在这些数据集下的具体表现，或许能帮大家为各自所处业务场景找到一些参考或灵感。如果你是应用算法工程师，也许可以从中了解各任务场景的SOTA算法是什么水平。如果你是平台开发工程师，也许可以从中了解到有哪些AI功能可以为你所集成。如果你是产品或架构师，也许能对新一代产品或架构设计产生智能化的新灵感。如果你是运维或运营岗。
实践分享|书生·浦语 InternLM2.5 PyTorch模型微调的最佳实践
2401_87243659的博客
09-18 1369
本次实践采用的是一款应用使能开发套件openMind，在调用数据集训练、推理、微调等方面挺方便顺畅的。openMind，一款应用使能开发套件，为各大模型社区提供支持，提供海量模型/数据托管能力、在线推理体验服务，同时具备模型训练、微调、评估、推理等全流程开发能力。开发者通过简单的API接口即可实现微调、推理等任务，极大缩短开发周期，助力AI技术的创新发展。目前，openMind已支持欢迎在魔乐等AI生态社区，欢迎体验。
DeepSeek R1 是怎样炼成的？
AI天才研究院
02-17 559
推理模型的本质是让模型自己构建 CoT，并将前面推理的步骤展示出来。现有的许多所谓的 agent，其本质上只是一个 workflow，而这些 agent 的 workflow 其实是高度结构化的，这就限制了模型的能力——这种基于 workflow 的 agent 只具有短期价值，而没有长期价值。他最后总结说——「All in All 我们就是要训练模型能够像我们人一样思考，自由的思考！要用真正的激励来进行强化学习，而不要被 reward model 本身所限制。
『大模型笔记』Jason Wei: 大语言模型的扩展范式！
AI新视界
02-17 408
Jason Wei: 大语言模型的扩展范式！
5分钟看看DeepSeek-R1做过的那些基准测试题(中）
最新发布
a1966565的博客
02-22 2066
FRAMES 是由 Google 与 Harvard University 联合发布 的综合评估数据集，核心目标是评测大语言模型（LLMs）在 统一框架中跨文档检索、多步骤推理与生成任务 的协同能力。该基准通过模拟真实场景（如金融分析、学术研究等），要求模型整合 多源异构数据（文本、表格、代码片段等）完成复杂任务。
AI: 当前流行的大模型智能水平排名
十年运维开发经验的王义杰在此分享自己的知识和经验
08-03 1486
从这些评估结果中可以看出，GPT-4o无疑是当前智能水平最高的大模型，特别是在多语言理解、数学推理和编程能力方面。GPT-4T紧随其后，也表现出了非常强大的能力。尽管GPT-4版本相对较旧，但其在许多基准测试中的表现依然非常出色。Claude3 Opus、Gemini系列和Llama3 400b也显示出各自在不同领域的优势。这些大模型的持续进步不仅推动了人工智能技术的发展，也为各个行业的实际应用带来了更多可能性。未来，随着技术的进一步迭代和优化，这些大模型将在更多复杂任务中展现出更强的智能水平。
从0迈向1！OpenAI 重磅推出Open AI o1
泉坡吴彦祖的博客
09-14 1938
OpenAi再次向我们秀了一把肌肉，展示了其强大的开发实力。昨天，OpenAI正式公开专为“解决难题”而研发的一系列新的大模型OpenAI o1。这些模型重要特点是在响应请求之前会进行更长时间的深思熟虑，它们能够通过复杂的任务进行推理，相对之前的大模型，它能在科学、编程和数学等领域解决更难的问题。OpenAI官方称：目前发布的仅是预览版，他们会按计划定期更新和改进，在本次发布内容中也包括了下一次更新的评估，并且更新内容正在开发中。
LLM常用基准测试
顺其自然~专栏
07-02 932
从微软的论文看来，基准测试一大堆，这些基准测试都是什么意思，今天简单给大家科普一下。以上图从上往下的顺序介绍基准。注：信息来源于以下几个网站arXivmistralMetaAnthropic。
Qwen2.0正式开源及评测数据集理解
weixin_42458975的博客
06-10 4377
6月7日，阿里巴巴正式开源了大模型——Qwen2。同时官方网站给出了与其他大模型，在不同的基准测试数据集上的对比。本文将介绍如何理解这些常用的基准测试数据集。
大模型测评常用benchmark对应原始论文介绍（二）——数学和推理
m0_60388871的博客
11-25 1504
随着大型语言模型（LLMs）的发展，其在复杂推理任务中的潜力逐渐显现。然而，在处理需要高度专业化知识的问题时，AI模型的准确性和可靠性仍然是一个挑战。当前的许多问答任务数据集（如SQuAD或SNLI）主要依赖于检索任务，模型可以通过表面级信息（如关键词匹配）来找到答案。ARC的目标是挑战现有的语言模型，使其需要更强的知识推理能力，而不仅仅依赖表面信息。因此，作者引入了MATH数据集，旨在通过具有挑战性的数学问题评估模型的推理能力。因此，作者提出通过训练验证器来对模型生成的答案进行评估，并选择最优解。
deepseek 671b
02-06
### 关于 DeepSeek 671B 的 IT 信息 DeepSeek-V3 是一款拥有 671B 参数的大规模语言模型，该模型采用专家混合 (MoE) 架构设计，在每个令牌激活时仅启用 37B 参数[^2]。这种设计不仅提高了计算资源利用率，还增强了模型的表现力。 #### 技术细节 为了提升推理效率并降低成本，DeepSeek-V3 使用了多头潜在注意力（MLA）机制以及专有的 DeepSeekMoE 结构来优化性能表现。此外，团队引入了一种新的负载均衡算法——辅助无损策略，确保了更均匀的任务分配和更高的吞吐量。同时，通过设定多标签预测作为训练目标之一，进一步提升了模型的学习能力和泛化水平。 #### 训练数据集与方法论 在构建过程中，开发人员利用了一个包含约 14.8 万亿个高质量且多样化的代币的数据集对 DeepSeek-V3 进行预训练。随后经过监督微调(SFT) 和基于奖励信号的强化学习(RLHF)，使得最终版本能够更好地适应实际应用场景需求。值得注意的是，尽管具备如此庞大的参数量级，整个训练周期却只需消耗大约 2.788 百万小时的 H800 GPU 时间，并且保持了极高的稳定性，从未发生过不可逆的损失激增现象。 #### 性能对比 当涉及到特定领域如教育类知识基准测试时，例如 MMLU、MMLU-Pro 或者 GPQA Diamond 等项目中，更新迭代后的 DeepSeek-R1 版本相较于早期发布的 DeepSeek-V3 展现出了更为优越的成绩；特别是在 STEM 领域内的问题解答准确性方面有了明显进步，这得益于大规模强化学习技术的应用和发展。然而，在中文环境下的简单问答任务里，由于实施了更加严格的安全控制措施，导致部分查询被拒绝响应，从而影响了整体评分结果。不过如果关闭这项特性，则可以实现超过百分之七十的回答正确率[^1]。 ```python # Python 示例：加载 DeepSeek-V3 模型 from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/DeepSeek-V3" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) text = "你好世界!" inputs = tokenizer(text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值