【LLM评估篇】Ceval | GAIA | MMLU benchmarks

已于 2025-04-05 19:02:25 修改
阅读量5.5k 收藏 7
点赞数 3
分类专栏： LLM大模型 自然语言处理 # RAG和Agent 文章标签： 大模型 nlp 模型评估
于 2023-08-20 13:51:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/131969328
版权

note

  • 一些大模型的评估基准benchmark：
  • 多轮：MTBench
  • 关注评估：agent bench
  • 长文本评估：longbench，longeval
  • 工具调用评估：toolbench
  • 安全评估：cvalue，safetyprompt等

文章目录

常见评测benchmark

在这里插入图片描述
图源自《A Survey on Evaluation of Large Language Models》

Agent相关的评测集

一、 GAIA

《GAIA: A Benchmark for General AI Assistants》是一个面向通用AI助手能力的基准评测体系。
1.组成：里面有466个精心设计的问题，其中分为三个级别，Lv.1、Lv.2、Lv.3。
(a) Level 1 ：通常不需要工具，或者最多只需要一个工具，但不超过5个步骤

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【LLM模型篇】LLaMA2 | Vicuna | EcomGPT等
发现问题，并解决问题，批判性思维
09-02 3766
EcomGPT：电商领域大模型 解决问题：解决电商场景任务（如品牌识别，评价解析，广告文案生成等） 论文链接：https://arxiv.org/abs/2308.06966 GitHub链接：https://github.com/Alibaba-NLP/EcomGPT 1. sft数据 从学术论文或竞赛平台等开放数据源收集了共65个各种电商任务数据集，包括命名实体识别、评论问答、商品类目预测、多轮对话等传统的自然语言处理任务。这些开源数据集的任务都是由领域专家设计，然后由受过培训的人工标注，数据质量很高
GAIA: a benchmark for General AI Assistants
c_cpp_csharp的专栏
11-27 516
我们介绍了GAIA，这是一个通用人工智能助理的基准，如果得到解决，将代表人工智能研究的一个里程碑。GAIA提出了需要一套基本能力的现实世界问题，如推理、多模态处理、网络浏览和一般工具使用熟练度。GAIA问题对人类来说在概念上很简单，但对大多数高级人工智能来说却很有挑战性：我们发现，人类受访者在配备插件的GPT-4中获得了92%的支持率，而在配备了插件的GPT-1中获得了15%的支持率。这种显著的表现差异与LLM在需要法律或化学专业技能的任务上表现优于人类的最近趋势形成了鲜明对比。
【LLM 评估】MMLU benchmark：用于衡量 LM 的多任务语言理解能力
VLyb
06-29 3858
一个 benchmark：涉及 57 个 subjects 的多项选择题的数据集，共 15908 个 questions
LLMs Benchmarks基准测试 GLUE,Super GLUE, MMLU, BIG-bench, HELM
AI架构师易筋
08-27 2018
正如你在上一个视频中所看到的，大型语言模型（LLMs）是复杂的，而像Rouge和BLEU分数这样的简单评估指标只能告诉你关于模型能力的一些信息。为了更全面地衡量和比较LLMs，你可以利用预先存在的数据集和相关基准，这些基准是由LLM研究人员专门为此目的而建立的。选择正确的评估数据集至关重要，这样你才能准确评估LLM的性能并了解其真正的能力。你会发现，选择隔离特定模型技能的数据集非常有用，例如推理或常识知识，以及关注潜在风险的数据集，如虚假信息或版权侵权。
【General Agent Benchmark】论文分享：GAIA
最新发布
LG154721的博客
05-10 1077
论文名称：GAIA: a benchmark for General AI Assistants；机构：Meta + Huggingface + AutoGPT
LLM Benchmarks
maxzcl的博客
04-08 885
We very often see a menagerie of performance benchmarks for LLM papers listed to showcase the "breakthroughs" and very likely know very little about the specifics about each particular test suite.There, then, lies a danger of being misled and manipulated b
大模型系列：C-Eval中文大模型评测数据集介绍和实践
2401_85325397的博客
05-30 6110
C-Eval整体结构概述C-Eval数据预览C-Eval的Prompt范式Python脚本实现C-Eval评估ChatGLM2-6B在前文《大模型系列：LLM-Eval大模型评测理论简述》中介绍了大模型需要评测的内容，包括NLP任务知识和逻辑推理安全性对齐性等多个角度，C-Eval数据集主要用于评测大模型的知识和逻辑推理能力，即大模型是否能够认识和理解广泛的世界知识，并类似人类一样对事物进行推理规划。
LLM Benchmarks - 评估方法套件
engchina的专栏
08-24 601
LLM Benchmarks - 评估方法套件
大型语言模型基准测试(LLM Benchmarks)：理解语言模型性能
qianggezhishen的专栏
08-06 3558
这些基准测试为评估LLM在编程领域的能力提供了严格的标准，帮助我们了解这些模型在生成可执行代码方面的真实水平。此外，人类专家的评估也是不可或缺的，尤其是在评估模型的创造力、连贯性等难以量化的细微差别时。通过结合定量的指标和定性的人类评估，基准测试能够提供全面的性能评估，帮助我们更好地理解和优化LLM。通过这些测试，我们可以更深入地了解这些模型的能力和局限性。在本文中，我们将探讨LLM基准测试的机制，分析最常用的基准测试方法，讨论评估指标的重要性，并阐释这些基准测试如何辅助选择适合特定应用程序的合适LLM。
[240530] 如何更准确地评估大型语言模型（LLM）的性能 | LLM API 价格对比
edwinjhlee的博客
05-30 980
- 如何更准确地评估大型语言模型（LLM）的性能 - LLM API 价格对比
LLM(5) | Encoder 和 Decoder 架构
baiyu33的博客
02-03 3434
简而言之，encoder-style 的模型在用于分类任务的嵌入学习中很受欢迎， encoder-decoder-style 的模型被用于输出严重依赖于输入的生成性任务（例如，翻译和摘要），而 decoder-only 模型被用于包括问答在内的其他类型的生成性任务。基本上， endoder- 和 decoder- 风格的架构， 都使用相同的 self-attention 层来编码单词标记 (word tokens). 然而， 主要区别在于 encoder 的设计，是为了学习可以用于各种预测建模任务的嵌入。
汇总大语言模型LLM的评测基准数据集（BenchMarks）
日常学习与专研的记录
06-28 9281
本文介绍大语言模型LLM的BenchMarks评测数据集，帮助评估模型能力。
LLM benchmark简介
dwjlyl
01-09 380
综合性的中文评估基准，专门用于评估语言在中文语境下的知识和推理能力。CMMLM涵盖了从基础学科到高级专业水平的67个主题，比如：需要计算和推理的自然学科、需要知识的人文科学和社会学科以及需要生活常识的中国驾驶规则等，包括在其他地区或语言中并不适用的中国特定答案。全面的中文基础模型评估套件，涵盖了52个不同学科的13948个多项选择题，分为4个难度级别。由人类问题作者创建的8.5K高质量多样化小学数学单词问题的数据集，通过这套数据集可以评估大模型的数学推理运算能力。
【评测】MMLU(大规模多任务语言理解)简介(MMLU-ZS/MMLU-FS)
qq_32874697的博客
03-14 3421
在MMLU基准中，涉及到了两种特定的测试设置，即mmlu-zs（zero-shot）和mmlu-fs（few-shot）。mmlu-zs测试涉及在没有任何训练数据的情况下对模型进行评估，而mmlu-fs测试涉及在有限的训练数据情况下对模型进行评估。MMLU基准的目标是揭示模型在各个任务上的盲点和不足，并推动模型在多任务语言理解方面的进一步改进和发展。mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。使用MMLU基准对一个预训练的语言模型进行评估。
【论文精读】GAIA: A Benchmark for General AI Assistants
HERODING23的博客
12-11 4562
一篇来自Meta、HuggingFace、AutoGPT联合投稿的Agent Benchmark的工作，为当前百花齐放的Agent领域带来了评测的标准。这篇工作详细介绍了GAIA的设计理念，展望了GAIA的未来，讨论了当前GAIA的不足，细读下来可以看到这些大佬们对于这个当前火热领域的热切期待。PaperCodeFrom本文提出GAIA，一个通用AI助手的benchmark。GAIA提出真实世界的问题，需要一系列基本能力，如推理，多模态处理，网页浏览和一般工具使用等。
LLM训练中常用的Benchmarks
晓的博客
03-12 1577
什么是LLM基准测试LLM基准测试是一类精心设计的结构化测试，专门用于衡量语言模型在特定任务上的表现。通过一系列预设的任务，基准测试旨在解答一系列关键问题，例如：该LLM是否能够高效且准确地处理编程任务，助力软件开发？在对话场景中，它能否理解用户意图并给出精准、相关的回答，提供优质的交互体验？面对复杂的推理问题，它是否具备足够的逻辑思维能力来找到解决方案？这些问题的答案，将直接反映出模型在不同应用场景下的实用性和可靠性。LLM基准测试的关键特征标准化测试。
LLM 相关 Benchmark综述报告
hh051020的博客
03-03 1033
OpenAI Evals是OpenAI在2023年开源的一个通用评测框架，旨在方便社区为LLM开发和共享评测基准github.com。不同于单一数据集，Evals更像是一个评测工具库和基准注册表：它内置了一系列标准化的评测任务（如简单算术、常识问答等）供用户直接使用，也支持用户上传自定义数据和指标来构建自己的benchmarkgithub.com。OpenAI Evals的出现，反映了评测需求的多样化和定制化趋势。开发者可以利用该框架快速编写评测脚本，将模型接入后自动运行测试并收集结果。
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
热门推荐
进一寸有一寸的欢喜
06-27 1万+
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。`中文评测平台`榜单比较混乱，看个人使用习惯。
0天复刻Manus通用智能体，完全开源！GAIA Benchmark最强性能！
python1234567_的博客
03-08 1166
对比项ManusOWL代码闭源开源获取难度内测+天价邀请码GitHub一键clone工具链固定自由外挂执行环境云端私有云端+本地任选价格某鱼几万免费+随缘Star总结一句：Manus是高冷AI精英，🦉OWL是贴心打工老黄牛，开源和灵活度直接拉满！
prompt | llm | memory
04-03
### 关于 Prompt、LLM 和 Memory 的概念及其关系 #### 1. **Prompt** Prompt 是指提供给大语言模型 (LLM) 的输入指令或问题，用于引导模型生成期望的输出。它可以是一个简单的句子、一个问题或者更复杂的结构化数据。Prompt 的设计质量直接影响到 LLM 输出的质量和准确性[^1]。例如，在生成一段关于人工智能的介绍时，可以使用这样的 Prompt：“请介绍一下人工智能的基本概念。”[^4] #### 2. **LLM (Large Language Model)** LLM 是一种基于深度学习技术构建的大规模语言模型，能够理解和生成自然语言文本。它的核心能力来源于大量的训练数据以及复杂的神经网络架构。LLM 能够通过分析历史数据形成所谓的“长期记忆”，即经过训练后的固定参数集合[^2]。 #### 3. **Memory (内存机制)** 在 LLM 中，“memory”通常分为两种形式：**长期记忆**与**短期记忆**。 - **长期记忆**: 来自模型本身的预训练阶段，存储的是从大量文本中学到的知识，这些知识被编码成固定的权重参数并保存下来。它们不会因为新的交互而发生改变。 - **短期记忆**: 当用户与 LLM 展开具体对话时所产生的动态信息流，则构成了短期记忆的一部分。这种类型的记忆允许 LLM 在当前会话期间保持一定的上下文连贯性，但是一旦完成某次具体的交流任务之后便会消失。 #### 它们之间的联系 - **Prompt 和 LLM:** 用户通过精心构造 Prompts 向 LLM 提供指导性的输入来获取所需的信息或创作内容；高质量的 Prompts 可以显著提升 LLM 表现效果。 - **LLM 和 Memory:** LLM 利用自己的长期记忆为基础理解世界，并借助短期记忆维护实时对话中的情境关联度。 - **Prompt 和 Memory:** 正确设置的 Prompts 不仅能激活 LLM 内部已有的长期记忆资源，还能有效利用短期记忆维持多轮对话的一致性和逻辑性。 ```python def generate_response(prompt, model): """ 使用指定的语言模型生成回复 参数: prompt (str): 输入提示符 model : 已加载好的大型语言模型实例 返回值: str: 模型返回的回答字符串 """ response = model.generate(text=prompt) return response ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值