HumanEval数据集分享

最新推荐文章于 2024-04-25 15:15:15 发布
最新推荐文章于 2024-04-25 15:15:15 发布
阅读量698 收藏 8
点赞数 15
分类专栏： 自然语言数据集分享 文章标签： 大模型测试数据集 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinizhilianlove/article/details/136698827
版权

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-3-10

在这里插入图片描述

该数据集是由OpenAI、Anthropic等开发的一个代码生成评测基准测试，它包含了164个人工编写的Python编程问题。这个数据集旨在评估大型语言模型在代码生成方面的能力，特别是在解决实际编程任务方面的表现。每个编程问题都包括函数头、docstrings（文档字符串，用于描述函数的功能）、函数体和几个单元测试。这些问题覆盖了从基础的字符串操作到复杂的算法设计等多种编程任务。

在评测过程中，模型会针对每个单元测试问题生成多个（k个）代码样本。如果有任何样本通过单元测试，则认为问题已解决，并报告问题解决的总比例，即Pass@k得分。这个指标可以帮助评估模型在生成正确代码方面的能力。

相关数据集与论文获取，GZ： AINLPer公众号 回复：HE数据集

AINLPer
关注
  • 15
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLMs之HumanEval：HumanEval的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-29 1127
​ LLMs之HumanEval：HumanEval的简介、安装、使用方法之详细攻略 目录 HumanEval的简介 HumanEval的安装 HumanEval的使用方法 HumanEval的简介 HumanEval(手写评估集)，这是用于评估《Evaluating Large Language Models Trained on Code》论文中描述的HumanEval问题解决数据集的评估工具。 GitHub地址：GitHub - openai/human-eval: Code for
【AI4Code】CodeX：《Evaluating Large Language Models Trained on Code》（OpenAI）
chadlee
07-18 1699
CodeX尝试了从头训练和基于GPT-3的参数fine-tuning，结果发现基于GPT-3的参数fine-tuning并没有取得效果上的提升，但基于GPT-3的参数fine-tuing可以收敛的更快，因此，论文中都采用的是这种训练策略。CodeX是在Github的159GB的代码文本上无监督的训练的，论文造了一个和HumanEval数据集格式一致的SupervisedFine-Tuning数据集，在这个数据集上fine-tuning后的模型效果更好。这点想的有点科幻了。...
HumanEval是如何进行代码评估的：从数据构成、评估逻辑到pass@k指标计算
zenRRan的博客
12-22 4944
来自：老刘说NLP快来！NLP论文投稿、LLM交流、论文直播群HumanEval: Hand-Written Evaluation Set，是工作《Evaluating Large Language Models Trained on Code》(https://arxiv.org/abs/2107.03374)中提到的一个代码评测基准。最近在做代码方面的评估，走了许多弯路，在评估逻辑上有些误解，...
探索阿里云计算巢中的OpenAI HumanEval数据集：编程问题的智能化评估与解决方案
BJleiyang的博客
02-18 295
无论是提升模型理解自然语言描述并转换为有效代码的能力，还是检验模型在解决复杂编程问题上的精准度，阿里云的这项服务都能发挥关键作用，有力推动了AI编程技术的发展与应用实践。HumanEval数据集包含了164个精心设计的编程任务，每个任务都包含四个关键组成部分：task_id（样本标识符）、prompt（输入描述，包括函数头及docstring注释）、canonical_solution（问题的标准答案）以及test（用于验证生成代码正确性的测试函数和entry_point入口点）。函数是否满足预期功能。
【网安AIGC专题10.19】论文3代码生成：ChatGPT+自协作代码生成+角色扮演（分析员、程序员、测试员）+消融实验、用于MBPP+HumanEval数据集
定期分享我的发现和想法，感谢你的陪伴和支持
10-25 5281
代码生成旨在生成符合特定规范、满足人类需求的代码，以提高软件开发效率和质量，甚至推动生产模式的转变。本研究提出了一种自协作框架，使大型语言模型（LLM，例如ChatGPT）能够应对复杂的代码生成任务。该框架首先为三个不同角色的大型语言模型分配任务，包括分析员（analyst，负责需求分析）、程序员（coder，负责编写代码）、测试员（tester，负责检验效果），然后通过软件开发方法（SDM）规定了这些角色之间的交互方式。
论文解读 CodeX，Human Eval
人工智能曾小健
08-07 278
capturing。
突破性的多语言代码大模型基CodeShell
11-03
CodeShell是多语言代码大模型基座，它拥有70亿参数，经过对五千亿Tokens的训练，并具有8192的上下文窗口长度。CodeShell在权威的代码评估Benchmark（HumanEval与MBPP）上取得了同等规模最好的性能。这个项目为多语言代码处理和理解提供了有力的工具
论文笔记--Evaluating Large Language Models Trained on Code
weixin_38124427的博客
06-05 894
GPT系列模型之Codex，代码界的大语言模型
从HumanEval到CoderEval: 你的代码生成模型真的work吗？
hwxiaozhi的博客
12-01 226
但是，在其他依赖于上下文信息的生成任务上（占实际情况的60%以上），三个模型的表现都有较大下降，即使是最强大的ChatGPT的表现也有很大波动，甚至在部分级别上三个模型生成10次的结果均错误，这一定程度上说明了依赖上下文的代码生成任务是大模型代码生成下一步优化的重点方向。此测试环境预计将以线上服务的形式提供。实验结果表明，这三个模型在生成自包含函数方面的效果明显优于其他任务，但实际项目中的函数大部分依赖不同程度的上下文信息，因此提高模型对上下文信息的考虑和利用能力对于代码生成技术的实际可用性非常重要。
GPT-4 官方技术报告（译）
taocgp的专栏
03-27 1403
我们报告了GPT-4的开发情况，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实世界的场景中，GPT-4的能力不如人类，但在各种专业和学术基准上表现出人类水平的性能，包括在模拟的律师考试中，以大约前10%的应试者的分数通过。GPT-4是一个基于Transformer的模型，预先训练它来预测文档中的下一个标记。训练后的调整过程使事实性和遵循预期行为的衡量标准的表现得到改善。这个项目的一个核心部分是开发基础设施和优化方法，这些方法在大相径庭的不同规模上表现得可预测。
微软GPT-4研究报告中文版.pdf
04-04
1介绍 1 2多模态和跨学科的组合 1 3编程 1 4数学能力 1 5与世界的互动 1 6与人类的互动 1 7鉴别能力 1 8GPT-4强调的自回归架构的局 限性 1 9社会的影响 1 10方向和结论
CodeShell多语言代码大模型基座
03-16
CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。它拥有70亿参数，经过对五千亿Tokens的训练，并具有8192的上下文窗口长度。CodeShell在权威的代码评估Benchmark（HumanEval与MBPP）上取得了同等规模最好的性能。这个项目为多语言代码处理和理解提供了有力的工具。
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（三）
wzk4869的博客
09-20 1018
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（三）
深度学习每周学习总结P5（运动鞋识别）
qq_33489955的博客
04-19 951
数据导入及处理部分：本次数据导入没有使用torchvision自带的数据集，需要将原始数据进行处理包括数据导入，数据类型转换。划分数据集：划定训练集测试集后，再使用torch.utils.data中的DataLoader()加载数据.注意：与之前不同的是，本次的数据集是已经划分好的。模型构建部分：有两个部分一个初始化部分（init()）列出了网络结构的所有层，比如卷积层池化层等。第二个部分是前向传播部分，定义了数据在各层的处理过程。
《Vid2Seq》论文笔记
Zssss12的博客
04-22 1121
在这项工作中，我们引入了Vid2Seq，这是一种多模态单阶段密集事件字幕模型，它在大规模可用的叙述视频上进行了预训练，Vid2Seq 架构使用特殊的时间标记(time tokens)增强了语言模型，使其能够同时预测同一输出序列中的事件边界和文本描述。这种统一的模型需要大规模的训练数据，这在当前的注释数据集中是不可用的。我们表明，通过将转录语音的句子边界重新表述为伪事件边界，并使用转录的语音句子作为伪事件字幕，可以利用未标记的叙述视频进行密集视频字幕。
知识图谱的分类
suliuzhen的博客
04-22 345
知识图谱分为通用知识图谱与领域知识图谱两类，两类图谱本质相同，其区别主要体现在覆盖范围与使用方式上。（1）通用知识图谱：通用知识图谱主要强调知识的广度，可以形象地看成一个面向通用领域的结构化的百科知识库，其中包含了大量的现实世界中的常识性知识，覆盖面广，通常运用百科数据进行自底向上（Top-Down）的方法进行构建；
ai智能名片生成器源码系统 一键生成数字名片 打造定制化的商务社交平台
duizhangdaren的博客
04-22 681
在数字化时代，商务交流方式正在发生深刻变革。分享一个ai雷达智能名片生成器源码系统，源码开源可二开，含完整代码包和详细的安装部署搭建教程，让技术小白也能轻松上手，让您一键生成数字名片，打造定制化的商务社交平台。比如：多少人阅读了我们的朋友圈文章，多少人转发了我们文章，访问者在文章停留了多久，甚至具体什么人访问了我们的文章等。比如有多少人访问了名片，什么人访问了名片，访问了多久，第几次访问等等。2. 现有客户留存，人工智能名片系统能帮你发现什么客户很久没有关注你的名片了，那么就可以及时做出客户的留存了。
5 CatBoost模型
qq_28611929的博客
04-19 1180
catboost模型介绍
AI 是否能发现新的科学规律，引发科学革命？
最新发布
2301_79635820的博客
04-25 371
通过数据分析、模式识别和自主发现等技术手段，人工智能将帮助科学家发现新的科学规律，推动跨学科研究的开展，并提升科学研究的效率。传统科学研究受到计算资源的限制，但人工智能技术可以利用分布式计算和云计算平台，进行超大规模的计算和模拟，加速科学研究的进程。借助人工智能的数据挖掘和模式识别能力，科学家可以更快速地发现新的科学规律和现象，甚至发现以往被忽视或未曾想象的规律。人工智能的应用将极大提升科学研究的效率和速度，使得科学家能够更快地解决复杂的科学难题，加速科学发现的过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值