大模型测评常用benchmark对应原始论文介绍（三）——代码能力

最新推荐文章于 2025-04-02 11:03:49 发布
最新推荐文章于 2025-04-02 11:03:49 发布
阅读量1.3k 收藏 9
点赞数 16
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60388871/article/details/144030883
版权

Code

HumanEval

1. 研究背景
  • 随着大型语言模型在自然语言处理中的成功，研究者开始探索将其应用于代码生成。
  • 传统的代码生成面临挑战，如代码的功能正确性和复杂任务的推理需求。
  • 本研究开发了Codex模型，并设计了一个新的测试集HumanEval，用于评估模型从自然语言生成代码的能力。
2. Codex模型的特点
  1. 训练数据：
    • 使用来自GitHub的公开代码库训练，包含179 GB的Python代码。
    • 数据经过筛选，剔除了自动生成文件、超长行代码和低质量文件。
  2. 评估目标：
    • 模型需根据注释生成正确的Python函数。
    • 使用单元测试（unit tests）验证生成代码的功能正确性，而非仅匹配参考解答。
  3. 模型优化：
    • 在GPT-3基础上微调以提升代码生成能力。
    • 采用高温和多样化采样策略生成多种代码解答。
3. HumanEval数据集
  1. 数据集内容：
    • 包含164道手写编程问题，每个问题包含函数签名、自然语言描述（docstring）、完整函数体和单元测试。
    • 问题涵盖算法、数学运算和语言理解任务。
  2. 评估指标：
    • 使用pass@k指标评估模型生成代码的功能正确性：
      • pass@1：单次生成的正确率。
      • pass@k：从k个生成样本中至少有一个通过测试的概率。
4. 实验结果
  1. 模型性能：
    • Codex在HumanEval上的pass@1表现显著优于未训练于代码任务的GPT模型：
      • Codex-12B的pass@1为28.8%，而GPT-3为0%。
  2. 多样化生成的效果：
    • 对每个问题生成100个样本，Codex能在77.5%的问题上找到至少一个通过测试的代码。
  3. 与其他模型比较：
    • Codex在pass@k上的表现优于GPT-Neo和TabNine等其他代码生成模型。
5. 模型的局限性
  1. 功能性错误：
    • Codex有时生成表面上正确但功能错误的代码。
    • 对长链式操作描述（如复杂任务注释）或变量绑定可能失败。
  2. 训练数据的依赖：
    • 由于训练数据来自GitHub，模型可能对特定的编程风格或库存在偏差。
  3. 效率问题：
    • Codex的生成方法需要大量样本以提高正确率，可能不适合实时或高效部署。
6. 社会和技术影响
  1. 潜在用途：
    • 提高程序员生产力，支持代码自动补全。
    • 为非程序员提供代码生成工具，降低编程门槛。
  2. 潜在风险：
    • 可能生成不安全或偏差代码，导致安全问题。
    • 在某些情况下，过于依赖生成代码可能引发对AI工具的过度信任。
7. 未来研究方向
  • 优化模型以减少功能错误。
  • 扩展模型以支持更多编程语言和复杂任务。
  • 研究如何更高效地生成高质量代码以适应实际应用。

HumanEval+

文章提出了一种名为EvalPlus的框架，用于评估由大型语言模型（LLMs）生成代码的功能正确性。研究的重点是现有基准（HUMANEVAL）在测试充分性上的不足，以及EvalPlus在生成高质量测试用例以捕获更多错误代码上的改进能力。

1. 研究背景与动机
  • 编程任务的复杂性：代码生成是LLMs的重要应用场景，但现有的测试方法难以捕捉生成代码中的潜在错误。
  • HUMANEVAL的局限性：每个任务仅包含少量测试用例（平均不到10个），不足以捕捉边界情况。自然语言描述模糊，可能导致模型对任务目标的错误解释。
2. EvalPlus框架
  1. 核心方法：
  • 自动测试用例生成：使用ChatGPT生成高质量的种子测试输入，涵盖复杂和边界情况。基于种子测试用例，应用类型感知（type-aware）的变异方法生成大规模测试用例。
  • 差分测试：通过对比生成代码与基准代码的输出，检测潜在错误。
  • 测试用例优化：利用集合覆盖算法减少测试用例数量，同时保留测试效果。
  1. HUMANEVAL+ 数据集：
  • EvalPlus将原始HUMANEVAL扩展了80倍，生成了HUMANEVAL+。
  • 添加了更全面的测试用例，覆盖边界情况并修正了原始数据集中的逻辑错误。
3. 实验结果
  1. 测试准确性提升：
  • 在EvalPlus改进的测试集上，LLMs的功能正确性（pass@k）下降了19%-28%，表明原有测试不足以捕捉错误。
  • 示例：ChatGPT在HUMANEVAL上的pass@1为73.2%，而在HUMANEVAL+上仅为63.4%。
  1. 模型排名变化：
  • 在原始HUMANEVAL中表现较差的模型（如WizardCoder-CodeLlama），在HUMANEVAL+上超过了ChatGPT。
  1. 发现新的缺陷：
  • 原始HUMANEVAL中有11%的任务存在不正确的参考解答，EvalPlus通过自动生成测试用例发现并修复了这些缺陷。
4. EvalPlus的贡献
  1. 增强评估标准：
  • EvalPlus通过生成更多测试用例，显著提高了LLMs评估的准确性。
  1. 数据集扩展：
  • HUMANEVAL+提供了更全面的测试基准，可用于未来的代码生成研究。
  1. 测试用例优化：
  • HUMANEVAL±MINI仅使用原测试数量的1/47，却达到了类似的测试效果。
5. 未来方向
  • 扩展EvalPlus至更多编程语言和实际场景。
  • 研究如何结合正式验证方法提升测试的覆盖率和准确性。
  • 将EvalPlus集成至代码生成工具（如Copilot）以实时提醒潜在错误。

MBPP

作者提出并评估了两个新的基准数据集，并探讨了模型在不同规模、提示和微调设置下的性能。

1. 研究背景

程序合成是人工智能领域的重要任务，旨在通过自然语言描述生成符合功能要求的代码。传统的程序合成多基于有限的领域特定语言（DSL），而这项研究探索了LLMs在通用编程语言中的潜力。

目标：

  • 评估LLMs能否从自然语言描述中生成短程序。
  • 探讨模型规模和微调对程序合成性能的影响。
  • 研究模型与人类交互提升代码质量的潜力。
2. 数据集介绍
  1. MBPP（Mostly Basic Programming Problems）：
    • 包含974道编程问题，适合初级程序员解决。
    • 每个问题包括自然语言描述、目标Python函数和三个测试用例。
    • 数据集中426道问题经过人工验证以确保准确性。
  2. MathQA-Python：
    • 基于MathQA数据集改编，包含23914道数学问题及其Python实现。
    • 问题更复杂，侧重自然语言描述转化为代码。
3. 实验与结果
  1. Few-shot学习：
    • 在MBPP上，使用提示的最大模型（137B参数）能正确解决59.6%的问题。
    • MathQA-Python的Few-shot准确率为33.4%。
  2. 微调的效果：
    • 在MBPP上微调后，性能提高约10个百分点，达到69.6%。
    • 在MathQA-Python上，微调后准确率提高到83.8%。
  3. 模型规模的影响：
    • 合成性能与模型规模呈对数线性关系增长。
    • 更大的模型对复杂任务具有显著优势。
  4. 错误分析：
    • 错误类型包括语法错误、运行时错误和功能性错误。
    • 随着模型规模增大，语法和运行时错误显著减少，但功能性错误仍占大多数。
4. 模型与人类交互
  1. 对话增强：
    • 在少样本学习中，加入人类反馈（如自然语言提示）能显著提高性能。
    • 准确率从无反馈时的30%提升至有反馈时的65%。
  2. 示例案例：
    • 模型生成初始代码，人类通过对话指出错误并提供改进建议。
    • 示例表明模型能通过人类提示修正错误，但多轮对话可能导致模型失去上下文。
5. 主要贡献
  1. 基准数据集：提出MBPP和MathQA-Python，为程序合成研究提供了新的评估标准。
  2. 模型性能分析：展示了模型规模、提示设计和微调对代码生成性能的显著影响。
  3. 人机协作探索：表明模型通过人类反馈可以显著改善代码质量。
6. 局限性与未来方向
  1. 测试覆盖不足：部分测试用例未能覆盖所有边界情况，可能高估性能。
  2. 复杂任务不足：MBPP任务较为基础，未来可扩展至更复杂的实际编程场景。
  3. 模型局限：模型对多步推理任务仍存在挑战，需进一步提升逻辑推理能力。

MultiPL-E

文章提出了一个名为MultiPL-E的框架，专注于多编程语言代码生成模型的评估，探索了如何将现有的Python代码生成基准扩展到其他18种编程语言，从而创建了首个大规模并行多语言代码生成基准。

1. 研究背景
  • 现有代码生成研究主要集中在单一编程语言（如Python），缺乏对多语言环境中性能的全面了解。
  • MultiPL-E框架的目标是研究多语言代码生成模型的能力，并评估模型如何从一种语言的知识中泛化到其他语言。
2. MultiPL-E框架的核心内容

  1. 目标：

    • 提供一个通用框架，将现有的代码生成基准从Python翻译到多种编程语言。
    • 通过翻译单元测试和Python特定术语来实现跨语言的并行代码生成评估。

  2. 支持的编程语言：

    • 包括18种语言，如C++、JavaScript、Rust、TypeScript等，涵盖了多种编程范式和语言特性。
    • 语言被分为高频（如Python、Java）、中频（如Go、PHP）和低频（如Lua、Bash）类别。

  3. 方法：

    • 使用一组“轻量编译器”将Python基准翻译为其他语言。
    • 通过单元测试来验证代码生成的正确性，确保评估的一致性和可复现性。

  4. 数据集扩展：

    扩展了两个著名的Python基准数据集：

    • HumanEval：包含164个测试问题，用于检查函数输出的正确性。
    • MBPP（Mostly Basic Programming Problems）：以简单编程任务为主，适合初学者。
3. 实验结果
  1. 模型表现：
    • 测试了Codex、CodeGen和InCoder三种先进的代码生成模型。
    • Codex在某些语言（如JavaScript、TypeScript）上的表现超过了Python，表明模型在多语言环境中的潜在能力。
    • CodeGen在其微调数据集中包含的语言（如Python、JavaScript）上表现优异。
    • InCoder在低频语言上的表现相对较弱。
  2. 语言频率与模型表现：
    • 模型在高频语言上的表现普遍优于低频语言，但Codex在一些低频语言（如Lua）上的表现出人意料地好。
    • 语言特性（如静态类型与动态类型）对生成性能的影响较小。
  3. 错误分析：
    • 常见错误包括语法错误、类型错误以及语言特定的语义错误。
    • 特定语言（如Racket）中出现模型生成非目标语言代码的情况，可能是训练数据分布的结果。
4. 主要贡献
  1. 通用框架：
    • MultiPL-E通过翻译基准和单元测试，为多语言代码生成模型的研究提供了一个高效、可扩展的框架。
  2. 新数据集：
    • 创建了第一个覆盖19种语言的并行多语言基准，为未来研究提供了重要的测试资源。
  3. 深度分析：
    • 探讨了语言频率、类型注释、提示设计等因素对代码生成模型性能的影响。
5. 局限性与未来方向
  • 局限性：
    • 生成的基准主要基于Python的任务，不一定能完全反映目标语言的实际使用场景。
    • 现有翻译策略无法覆盖所有Python特性，例如复杂类型或动态行为。
  • 未来方向：
    • 扩展到更多语言和基准（如SQL、C）。
    • 研究如何改进模型以减少多语言生成中的语法和语义错误。
ALGORITHM LOL
关注
LLM模型性能分析
ZJQ的博客
03-10 108
Qwen-72B凭借高参数量与优化架构，在多任务中占据领先地位；Yi-34B在知识理解与代码任务中表现亮眼；各模型因参数量、架构设计不同，在细分领域（如中文处理、数学推理、代码生成）各有优劣，实际应用需结合任务需求选择。
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 1354
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
【论文阅读ICSE2024】CoderEval: A Benchmark of Pragmatic Code Generation with Generative Pre-trained Models
HeeKaai的博客
11-03 1778
第二，尽管DS-1000中的一些函数依赖于第三方库，但DS-1000所反映的开发场景与实际代码生成相去甚远，因为DS-1000中没有任何函数依赖于目标函数外的用户定义函数。传统基准（如HumanEval）主要评估独立函数的生成能力，忽略了非独立函数在实际开发中的高占比（通过分析 GitHub 上分别用 Java 和 Python 编写的 100 个最受欢迎的项目发现非独立功能占开源项目功能的 70% 以上），导致无法全面评估模型在复杂依赖环境下的表现。（2）统计所有目标函数中，符合上述条件的函数的比例。
大模型代码编写能力（尤其是长代码生成）的排名表格
神经美学_茂森的博客
03-11 412
建议优先选择GPT-4或DeepSeek-MoE-16b进行长代码开发，若涉及中文业务可尝试Qwen2.5-Coder。
大语言模型的代码生成能力前沿追踪（2023年7月）
技术行者
07-03 1226
论文摘要：Codex是一种GPT语言模型，它是在GitHub上公开可用的代码上进行了微调，研究了它的Python代码编写能力。Codex的生产版本驱动GitHub Copilot。在我们发布的新评估集HumanEval中，我们用于从docstrings合成程序的模型解决了28.8%的问题，而GPT-3解决了0%，GPT-J解决了11.4%。此外，我们发现从模型中重复采样是一种出人意料的有效策略，可用于生成解决难题的工作方案。使用这种方法，我们每个问题使用100个样本解决了70.2%的问题。
惊艳！国产大模型终于会写代码了！
python122_的博客
07-22 1640
作为程序员，我一直在关注大模型的发展，尤其是大模型的代码能力，因为这将直接影响到程序员的日常工作，驾驭一个代码能力强悍的大模型，对工作效率的提升实在太大了。之前ChatGPT在这一块儿表现不错，国产的大模型差一些，前两天讯飞星火认知大模型发布了V2.0，包含了代码生成能力，多模态能力等重大升级，作为程序员，必须得去看看。先来尝试一个简单的：写一段代码，判断用户输入的密码满足特定规则，长度不小于8位，必须包含大小写字母，数字和特殊符号。如果这个功能都搞不定，就不用往下尝试了。
人工智能应用就是大模型能力+场景，基于大模型构建应用，首先要了解大模型的能力圈
最新发布
2401_85325557的博客
04-02 1005
“大模型的应用是玩出来的而不是看出来的，多体验和尝试不同的模型之间的功能和区别才能让你真正了解大模型的能力。” 在关于大模型应用方面，虽然也了解和应用过其中的一些技术；但经过这段时间的实践和思考发现，对大模型应用的认识还很浅显，因此在此记录一下自己的思考。
51-1 多模态大模型的概念、核心技术以及评测
AIgraphX
10-19 1459
Foundation Models对智能体基本认知能力有巨大的推动作用，当然大模型资源消耗极大，需要进一步去解决。
浅谈大模型私有化+精调：面向垂直行业与特定场景之需
chenxyuan1tuo的博客
06-18 1462
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
最强开源模型 Mixtral-8x7B-Instruct-v0.1 详细介绍：稀疏 Mixtral of experts
AI天才研究院
02-02 1436
同样，在推理过程中，假设每个令牌仅使用两名专家，推理速度 (FLOP) 就像使用 12B 模型（而不是 14B 模型），因为它计算 2x7B 矩阵乘法，但共享一些层。然后，输入的信息将以最高的概率发送给专家，确保最合适的专家处理手头的任务。C) 另请注意，虽然有推理服务，但实现了 FP8 实现，每个令牌运行 3 个专家（而不是默认的 2 个）——但激活更多专家是有害的，因为该模型经过训练只需要处理 3 个专家的贡献2个顶级的。它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
长文干货！老程序员测评文心一言4.0模型代码能力！
2401_85773741的博客
12-24 1428
大家好，我是一名老程序员了，大模型出来后我算是一直在尝试各种AI工具，尤其是AI辅助研发的方向（可能有点焦虑？），包括上个月的AI程序员Devin发布我也在关注，大模型的能力发展太快了，我还是想努力跟上。我个人一直支持国产大模型，也算文心一言的老用户啦，去年3月刚内测的时候就在用了，那时候特振奋，想着国内终于有一款大模型了，刚开始用的时候很坎坷啊，用起来一直达不到预期。不过文心一言的模型能力还是在肉眼可见地变好，我现在的情况是付费使用文心一言4.0模型（免费的3.5模型基本不用了），我的感官是。
CodeX论文精读
qq_36936443的博客
06-24 2423
论文：《Evaluating Large Language Models Trained on Code》下载地址：https://arxiv.org/pdf/2107.03374.pdfCopilot的核心技术：给定函数名和功能描述，可以自动进行代码补全，或者给定代码，给出相关文档作者团队收集了Github上所有的不重复的python代码，总计179GB，并进行了简单过滤(去掉了过大的文件（>1MB）和过长的代码(>100行或单行超过1000个字符))，在数据集上面训练了一个GPT3模型作者团队手动编写了
论文解读 CodeX，Human Eval
强化学习曾小健
08-07 461
capturing。
大模型LLM入门到进阶 | 基准测试 Benchmark（二）什么是NLP（自然语言处理）？自然语言处理基准测试
Androiddddd的博客
09-20 1197
NLP使用了统计学、机器学习、深度学习等多种技术，通过处理大量的文本数据和语言规则，从而提取出语义、情感、信息等。
#今日论文推荐# MIT研究员利用OpenAI的Codex，开发几秒内解决高等数学难题的AI模型，准确率超过80%
w1hsxn的博客
08-24 379
当前，机器学习模型在解决微分方程等高难度数学问题方面一直存在很大限制，一些最好的模型也只是勉强回答高中水平的数学题目。但现在，麻省理工学院（MIT）领导的研究小组开发的一种神经网络模型，可轻松应对相当于大学数学课程难度的问题。
【AI4Code】CodeX：《Evaluating Large Language Models Trained on Code》（OpenAI）
chadlee
07-18 1931
CodeX尝试了从头训练和基于GPT-3的参数fine-tuning，结果发现基于GPT-3的参数fine-tuning并没有取得效果上的提升，但基于GPT-3的参数fine-tuing可以收敛的更快，因此，论文中都采用的是这种训练策略。CodeX是在Github的159GB的代码文本上无监督的训练的，论文造了一个和HumanEval数据集格式一致的SupervisedFine-Tuning数据集，在这个数据集上fine-tuning后的模型效果更好。这点想的有点科幻了。...
OpenAI Codex、DeepMind AlphaCode论文精读阅读笔记
irony_202的博客
03-26 4583
Codex： 基于GPT的语言模型，用Github上的代码进行微调（有意思的是GPT的卖点就是不用微调）。 模型没怎么改动，主要精力在于准备预训练数据和微调数据集（微调数据集应尽可能和你要进行评估的任务相近）上 目标函数的分数不采用常见的BLUE分数因为相同的子序列多并不意味着写出的代码就有效，因此作者团队自己设计了一个pass@K，即每个词采样softmax分数总和0.95的输出，在这些词里面每次随机采样，最后看生成的答案能否通过测试，若以100次采样中有1次能通过测试则算成功，准确度能达到接近80%。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值