代码大模型评测集汇总

已于 2025-02-19 01:18:09 修改
阅读量909 收藏 9
点赞数 8
分类专栏： 大模型LLM 文章标签： ai
于 2025-02-17 00:46:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenxueliu/article/details/145672523
版权
评测集名称评测分类支持语言评测原理官网地址评测集内容评测集指标排行榜备注
EvalPlus代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。EvalPlus GitHubHumanEval+（比原始HumanEval多80倍的测试用例)、 MBPP+(比原始MBPP多35倍的测试用例)信息未提供EvalPlus Leaderboard
LiveCodeBench综合代码能力多种编程语言通过代码生成、代码修正、代码执行和测试输出预测等任务的综合表现来评估模型的代码相关能力。LiveCodeBenchLiveCodeBench 收集了来自 LeetCode、AtCoder 和 Codeforces 等竞赛平台的新问题，确保评估的代码相关能力是最新和全面的。pass@1 and pass@5LiveCodeBench Leaderboard与EvalPlus类似，但更全面
BigCodeBench代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。bigcodebench用于通过代码解决实际和具有挑战性的任务。它旨在在更真实的环境中评估大型语言模型 （LLM） 的真实编程能力。该基准测试专为类似 HumanEval 的函数级代码生成任务而设计，但具有更复杂的指令和多样化的函数调用。Pass@1排行榜 排行榜2
Aider代码修复多种编程语言（如Python、Java、C++等）通过修复代码中的错误并评估修复后的代码是否符合预期来评估模型的代码修复能力。信息未提供225个编程练习，这些练习是从Exercism平台中挑选的最难的题目，涵盖多种流行编程语言，以测试LLM的编码能力，以及它能否将新代码整合到现有代码中Percent completed correctly 和 Percent using correct edit format排行榜
McEval多语言代码生成40多种编程语言McEval是一个大规模多语言代码评测基准测试，覆盖40种编程语言并包含16K个测试样本，旨在推动代码大型语言模型（LLMs）在多语言场景下的发展。该基准测试包含具有挑战性的代码补全、理解和生成评估任务以及精心策划的大规模多语言指令语料库McEval-Instruct，以支持多语言编程语言生成官网信息未提供排行榜
MdEval多语言代码修复40多种编程语言通过修复多种编程语言的代码错误并评估修复后的代码是否符合预期来评估模型的多语言代码修复能力。官网信息未提供信息未提供信息未提供
Humaneval-Infilling代码补全与生成多种编程语言通过在代码中填充缺失部分并评估生成的代码是否符合预期来评估模型的代码补全和生成能力。HumanEval-Infilling GitHub信息未提供信息未提供信息未提供
CrossCodeEval代码补全与生成多种编程语言通过在代码中填充缺失部分并评估生成的代码是否符合预期来评估模型的代码补全和生成能力。官网建立在一组多样化的现实世界、开源、许可许可的存储库上，采用四种流行的编程语言：Python、Java、TypeScript 和 C#。信息未提供信息未提供CrossCodeEval 是一个多语言、多样化的代码补全基准，需要深入的跨文件上下文理解才能准确地完成代码
CrossCodeLongEval代码补全与生成多种编程语言通过在长代码片段中填充缺失部分并评估生成的代码是否符合预期来评估模型的长代码片段补全和生成能力。Code Match 和 Identifier Match信息未提供信息未提供信息未提供使用不多
RepoEval代码补全与生成多种编程语言通过在实际代码库中进行代码补全和生成任务并评估生成的代码是否符合预期来评估模型的实际应用能力。官网RepoEval是一个用于评估存储库级别代码自动补全系统的基准测试，它使用从GitHub获取的最新高质量存储库，并包含了三个级别的代码补全粒度：行、API调用和函数体。评估已补全函数的正确性时，利用存储库中的单元测试，而不仅仅依赖于基于相似性的指标。信息未提供信息未提供
SAFIM代码补全与生成多种编程语言通过一次性执行生成的代码并评估其成功率来评估模型的代码补全和生成能力。信息未提供信息未提供信息未提供信息未提供
HumanEval代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。官方地址一个包含 164 个手写编程问题的基准，用于评估模型生成代码的能力Pass@k排行榜其他介绍，单一问题解决能力
MBPP代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。官方网站约1000个众包Python编程问题，旨在由入门级程序员解决，涵盖编程基础知识、标准库功能等。每个问题包括任务描述、代码解决方案和3个自动化测试用例Pass@k信息未提供
MultiPL-E代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。信息未提供信息未提供信息未提供信息未提供
CRUXEval-O Cot代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。信息未提供信息未提供信息未提供信息未提供
Fill-in-the-Middle Average (Python, Java, JS)代码补全与生成Python, Java, JavaScript通过在代码中填充缺失部分并评估生成的代码是否符合预期来评估模型的代码补全和生成能力。信息未提供信息未提供信息未提供信息未提供
GSM8K数学问题解决Python通过解决数学问题并评估生成的代码是否正确来评估模型的数学问题解决能力。信息未提供一个包含 8500 道小学数学题的基准，用于评估模型的数学推理能力得分排行榜
MATH数学问题解决Python通过解决数学问题并评估生成的代码是否正确来评估模型的数学问题解决能力。信息未提供信息未提供得分信息未提供
MMLU多语言理解多种编程语言通过评估模型对多种编程语言的理解能力来评估模型的多语言理解能力。信息未提供信息未提供信息未提供信息未提供
Spider数据库查询生成SQL通过生成数据库查询语句并评估其正确性来评估模型的数据库查询生成能力。信息未提供信息未提供Component Matching、Exact Matching、Execution Acc信息未提供
BIRD-SQL数据库查询生成SQL通过生成数据库查询语句并评估其正确性来评估模型的数据库查询生成能力。信息未提供信息未提供信息未提供信息未提供
CodeArena vs. GPT4 Turbo 0.0.1代码生成多种编程语言通过生成代码的正确性和完整性来评估模型的代码生成能力。信息未提供信息未提供信息未提供信息未提供

其余参考 https://www.datalearner.com/ai-models/llm-benchmark-tests/

大语言模型常见任务及评测数据集汇总（二）：90个数据集！
大F子的智能小课
04-07 1910
1. 命名实体识别（NER） CoNLL 2003：这是一个广泛使用的英文NER数据集，包含了多个领域的文本，如新闻、财经和政治。它识别四种类型的实体：人名、地名、组织名和其它专有名词。 ACE (Automatic Content Extraction)：ACE数据集是一个多语种的数据集，包含了英语、阿拉伯语和汉语等，它识别的实体类型更为丰富，包括人名、地名、组织名、时间表达式、数量表达式等。 OntoNotes：这是一个大规模的英文数据集，包含了多种类型的文本，如新闻、对话和文本文档。它识别的实体
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
c_cpp_csharp的专栏
06-24 748
应用于代码相关应用程序的大型语言模型（LLM）已成为一个突出的领域，吸引了学术界和工业界的极大兴趣。然而，随着新的和改进的LLM的开发，现有的评估基准（如HumanEval、MBPP）不再足以评估其能力。在这项工作中，我们提出了LiveCodeBench，这是一种对代码LLM的全面且无污染的评估，它从三个竞争平台（即LeetCode、AtCoder和CodeForces）的比赛中收集新问题。值得注意的是，我们的基准测试还关注更广泛的代码相关功能，如自修复、代码执行和测试输出预测，而不仅仅是代码生成。
【大模型评测】常见的大模型评测数据集
热门推荐
A-Itfuture的博客
01-17 2万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
【AI】爆肝！各类大模型测评基准的系统分析
qq871325148的博客
03-03 912
以更深入评估理解深度。此外，还需探索如何自动判分，因为人工标注问答对无法完全覆盖开放式的视频理解任务，未来或许结合人类偏好评价和关键内容匹配来综合衡量模型的影视理解水平。
大模型常用评测基准汇总全网最全版，内含CSDN独家福利！
大模型学习路线
07-23 1189
基于评测维度，考虑到各评测集关注的评测维度，可以将其划分为通用评测基准和具体评测基准。
大语言模型质量评测（附带全部可运行代码）
qq-1343330453
01-22 1099
大语言模型评估
LiveCodeBench: 大型语言模型代码能力的全面无污染评估
gitblog_00776的博客
08-31 2289
LiveCodeBench: 大型语言模型代码能力的全面无污染评估 LiveCodeBenchOfficial repository for the paper "LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code"项目地址:https://gitcode.com/...
【模型测试】大模型测评体系的构成
Deadwalk的专栏
04-14 708
随着近期DeepsSeek大模型在AI领域的快速崛起，人工智能技术正在快速进化，在这场智能革命的浪潮中，一个关键命题愈发凸显：当大模型能力不断进化时，我们该如何建立与之匹配的评估体系。本文将以多篇论文内容作为基础，探讨大模型评价体系的重要性(Why)、评价什么(What)、在哪儿评价(Where)、如何评价(How)。
大模型常用评测基准汇总2024年最新版
Python966的博客
08-16 1457
大模型常用评测基准汇总2024年最新版
开源医疗大模型汇总
qq_53600538的博客
07-04 998
该项目开源了生活空间健康大模型。结合当前开源的中文医疗问答数据集（MedDialog-CN、IMCS-V2、CHIP-MDCFNPC、MedDG、cMedQA2、Chinese-medical-dialogue-data），分析其中的单轮/多轮特性以及医生问询特性，结合自建的生活空间健康对话大数据，构建了千万级别规模的扁鹊健康大数据BianQueCorpus，基于扁鹊健康大数据BianQueCorpus，选择ChatGLM-6B作为初始化模型，经过全量参数的指令微调训练得到BianQue。
国内外大模型免费访问入口汇总
日常学习与专研的记录
04-26 3930
本文主要介绍国内外的大模型免费访问入口，包含 gpt-3、gpt-4、Claude-3、Gemini、通义千问、文心一言、Kimi、海螺、讯飞星火、百川大模型、智谱AI大模型、盘古NLP大模型等。
55个大模型比赛汇总
强化学习曾小健
10-09 2318
本次比赛赛题为统一的问题格式，但包含两类任务，数据查询任务和文本理解任务，分别考察选手基于大语言模型的结构化数据检索能力和长文本理解能力，赛事主办方并不会提供任务的具体类型，选手需要自行判断任务的类别，采用不同的技术方案，或者同时构建查询任务并汇总结果。在此背景下，本赛题以“基于大模型的文本内容智能评判”作为主题，旨在借助大模型强大的语义理解能力和泛化能力，应对不同领域和场景的评判需求，同时精准对齐人类专家的评判标准，进一步提升评判的准确性和可靠性。谜面会描述一个简单又难以理解的事件，谜底则是谜面的答案。
LiveCodeBench 技术文档
gitblog_01238的博客
10-18 1484
LiveCodeBench 技术文档 LiveCodeBench Official repository for the paper "LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code" ...
大语言模型原理与工程实践：评测集的构建标准
AI大模型应用之禅
06-14 850
大语言模型原理与工程实践：评测集的构建标准 1.背景介绍 大语言模型（Large Language Model, LLM）近年来在自然语言处理（NLP）领域取得了显著的进展。诸如GPT-3、BERT等模型在多个任务中表现出色，推动了人工智能技术的快速发展。然而，评估这些模型的性能和
LiveCodeBench 项目安装和配置指南
gitblog_01270的博客
10-18 1004
LiveCodeBench 项目安装和配置指南 LiveCodeBench Official repository for the paper "LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for C...
LiveCodeBench 项目下载及安装教程
gitblog_01271的博客
10-18 1145
LiveCodeBench 项目下载及安装教程 LiveCodeBench Official repository for the paper "LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for C...
LiveCodeBench 的项目扩展与二次开发
最新发布
gitblog_00124的博客
04-23 729
LiveCodeBench 的项目扩展与二次开发 LiveCodeBench Official repository for the paper "LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for ...
清华发布 KoLA 评测集，分4个认知层级评测LLM，GPT-4竟不是第一？
zenRRan的博客
06-21 794
夕小瑶科技说 原创作者 | Python 预训练语言模型（PLM）刷GLUE，SuperGLUE，甚是常见；那ChatGPT等大语言模型（LLM）刷什么榜呢？现在常用的榜单，例如MMLU评测了57个学科知识，Big-Bench评测204个推理任务。而这次，清华大学提出KoLA评测基准，从掌握和利用世界知识的角度，衡量大语言模型的表现。KoLA基于19个关注实体、概念和事件的任务。参考了Bloom认...
Qwen2.0正式开源及评测数据集理解
weixin_42458975的博客
06-10 4356
6月7日，阿里巴巴正式开源了大模型——Qwen2。同时官方网站给出了与其他大模型，在不同的基准测试数据集上的对比。本文将介绍如何理解这些常用的基准测试数据集。
大模型问答系统性能评测
02-20
### 大模型问答系统的性能评估 #### 性能评测方法 对于大语言模型（LLM），尤其是应用于问答系统中的模型，其性能评测可以从多个维度展开。不同于传统的软件测试方式，针对 LLM 的测试更倾向于依据特定的标准和指标来进行评价[^1]。 准确性测试是衡量 LLM 表现的重要组成部分之一。这一过程不仅关注于模型能否给出正确的答案，还涉及到对错误类型的深入分析以及理解模型在不同场景下的表现差异。为了全面评估准确性，通常会设计一系列具有代表性的测试案例覆盖各种可能的情况，并统计模型的回答质量。 除了准确性之外，其他重要的考量因素还包括但不限于响应时间、上下文理解和推理能力等方面。这些方面共同构成了一个完整的性能画像，有助于识别潜在的问题领域并指导后续优化工作。 #### 关键性能指标 常见的三大类指标涵盖了： - **准确性**：这是指模型提供正确答案的比例。可以通过对比预测结果与真实标签之间的匹配程度来量化该值。 - **一致性**：指的是当输入相似问题时，模型能够稳定地返回相近的结果；即使面对细微的变化也保持逻辑连贯性和语义一致性[^4]。 - **鲁棒性**：即系统对外部干扰或异常情况的抵抗能力。这包括处理噪声数据的能力，在不常见词汇面前的表现等特性[^3]。 #### 使用工具和技术手段 微调预训练好的大型语言模型可以显著提升其在特定任务上的效能。为此目的开发了一系列专用工具链支持整个流程——从准备定制化的训练集直至最终部署上线前的各项验证活动。例如，在医疗健康领域内利用 NCBI 数据库资源完成针对性改进就是一个典型实例。 此外，非回归测试作为一种有效的策略被广泛采纳用来监控版本迭代过程中是否存在退化现象发生。具体做法是在每次更新前后执行相同的基准测试套件并将所得分数加以比较从而及时发现任何不利变动趋势。 #### 最佳实践建议 最佳实践中强调持续集成环境的重要性，确保每一次代码提交都能触发自动化构建流水线自动运行单元测试、集成测试乃至端到端的功能检测等一系列环节。同时也要重视文档记录维护良好习惯以便团队成员间交流协作更加顺畅高效。 ```python def evaluate_model_performance(model, test_data): """ 对给定的大规模语言模型进行综合性能评估 参数: model (object): 待测的语言模型对象 test_data (list of tuples): 测试样本集合，每条记录由(问题字符串, 正确答案列表)组成 返回: dict: 各项评分汇总表单 """ results = { 'accuracy': calculate_accuracy(model, test_data), 'consistency': measure_consistency(model, generate_variations(test_data)), 'robustness': assess_robustness(model, add_noise_to_inputs(test_data)) } return results # 假设函数实现细节... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值