中文大模型评估数据集——C-Eval

最新推荐文章于 2025-03-03 20:31:37 发布
最新推荐文章于 2025-03-03 20:31:37 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： 预训练语言模型🔥 大模型 & NLP & 算法 知识大礼包 文章标签： 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36426650/article/details/132001366
版权
C-EVAL是一个针对中文基础模型的多层级多学科评估套件，旨在测试模型在复杂推理和多领域知识方面的表现。与现有基准相比，C-EVAL覆盖更广泛的领域，包括更难的C-EVAL HARD子集，重点关注高级推理问题。数据来源谨慎处理，避免数据泄漏，主要来自模拟考试，以减少潜在问题。实验涉及多个大模型，结果显示模型规模和训练策略对性能有显著影响，尤其是对于需要高级推理能力的任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 9837
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
大模型系列——DeepSeek-R1微调指南
最新发布
2401_84052244的博客
04-03 388
在这篇博文中，我们将逐步指导你在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。微调像 DeepSeek-R1 这样的大型 AI 模型可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行有效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。DeepSeek 的最新 R1 模型正在设定推理性能的新基准，可与专有模型相媲美，同时保持开源。
国内首个大模型评测数据集（MMCU）问世加速完善国产AI产业图谱
weixin_63444872的博客
05-23 656
众所周知，人工智能技术在飞速演进。大模型仍有许多难关亟待解决，借助超越MMCU评测数据集，一举打破市面上所有的大语言模型只能基于英文数据集去进行测试的现状，中文大语言模型将有望构建起一个完善的评测的体系，通过发现提升大语言的缺陷提升大语言模型对于中文的理解能力，更好地服务于全球的中文用户。沙龙上，中国科学院大学网络数据重点实验室的咸宁先生则针对MMCU测试集的使用情况进行分享，解释了测试数据集的分析原理，对几大模型的测试成果进行了展示与客观分析，并指出了超越MMCU测试数据集当下尚存在一些亟待解决的问题。
CAVE数据集介绍和下载
热爱分享，热爱记录
02-22 984
CAVE数据集是光谱成像领域一个重要的多光谱图像数据集，以下是关于它的详细介绍：CAVE数据集获取。
大模型系列：C-Eval中文大模型评测数据集介绍和实践
2401_85325397的博客
05-30 5648
C-Eval整体结构概述C-Eval数据预览C-Eval的Prompt范式Python脚本实现C-Eval评估ChatGLM2-6B在前文《大模型系列：LLM-Eval大模型评测理论简述》中介绍了大模型需要评测的内容，包括NLP任务知识和逻辑推理安全性对齐性等多个角度，C-Eval数据集主要用于评测大模型的知识和逻辑推理能力，即大模型是否能够认识和理解广泛的世界知识，并类似人类一样对事物进行推理规划。
【大模型评测】常见的大模型评测数据集
热门推荐
A-Itfuture的博客
01-17 2万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
最全 高质量 大模型 -评估基准数据集（不定期更新）
u011559552的博客
09-16 3001
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
大模型能力评估数据集都有哪些?
kcarly的专栏
02-02 1234
SuperCLUE更注重全面性、多维度的综合评估，覆盖语言理解、专业能力和中文特性能力等多个方面，同时强调国际对比和开放性。（假设存在）可能更专注于学术知识和标准化测试场景的模拟，适用于教育领域的应用。大模型在多模态能力评估数据集上的表现通常优于单一模态数据集。多模态模型通过整合多种模态的信息，能够更全面地理解任务需求，并显著提升性能。此外，多模态模型在泛化能力和适应性方面也表现更优。然而，多模态模型的计算成本较高，并且对高质量数据集的依赖性较强。
【06】LLaMA-Factory微调大模型——微调模型评估
H66778899的博客
07-19 8760
【06】LLaMA-Factory微调大模型——微调模型评估
DeepSeek掘金——DeepSeek-R1微调指南
03-03 3539
在这篇博文中，我们将逐步指导你在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。微调像 DeepSeek-R1 这样的大型 AI 模型可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行有效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。DeepSeek 的最新 R1 模型正在设定推理性能的新基准，可与专有模型相媲美，同时保持开源。
C-Eval 大语言模型测评 - lm evaluation harness + vllm 跑测评
arkohut的博客
01-10 6936
C-Eval 是一个「知识评估基准」，参考国外的评测基准 MMLU 而来，发布于 2023 年 5 月 22 日和 MMLU 一样，C-Eval 都是客观题评测，所有都是单项选择题，每个题目 ABCD 四个选项，有唯一答案C-Eval 涵盖了 52 个不同学科，一共 13948 个题目，难度级别覆盖初中、高中、大学和职业考试52 个学科，每个学科拆分为三个数据集：dev、validation 和 test。
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
进一寸有一寸的欢喜
06-27 1万+
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。`中文评测平台`榜单比较混乱，看个人使用习惯。
小白也能看懂 | 大模型的6个评估指标
zhishi0000的博客
05-04 5394
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
一文详看大模型长文本如何评估：四大主流评测数据集的任务设计、数据集构建方案
ThinkDoc.vip
11-21 6984
本文主要针对长文本评估，梳理了当前具有代表性的长文本评测，包括Zero-SCROLLS、L-Eval、LongBench以及loge四个基准。其中关于数据集的选取，任务的设计，以及对现有模型的评估都具有很好的指引性，对于具体的细节信息，可以对参考文献进行查阅，会有更多的收获。
【LLMs篇】01：大模型评测数据集和评测框架调研
u013010473的博客
01-24 1385
上海人工智能实验室研发推出了 OpenCompass 司南开源评测体系。该体系是面向大语言模型、多模态大模型等各类模型的一站式评测平台。OpenCompass 的主要特点包括开源可复现全面的能力维度丰富的模型支持分布式高效评测多样化评测范式以及灵活化拓展。
全网公开的大模型评测数据集整理
代码讲故事
02-26 3084
全网公开的大模型评测数据集整理。
汇总大语言模型LLM的评测基准数据集（BenchMarks）
日常学习与专研的记录
06-28 8257
本文介绍大语言模型LLM的BenchMarks评测数据集，帮助评估模型能力。
大模型评测概述-以司南为例
qq_43814415的博客
04-28 1858
本文以司南评估工具为例，介绍了大模型评测这一内容。大模型评测和以往的nlp模型评测的不同在于要考虑非常多的维度，根源在于大模型的多维能力。传统nlp模型只需要针对文本分类、ner等某个具体任务，但是大模型具有文本对话、角色扮演、文本分类等传统nlp有和没有的能力。因此，司南将其分为通用能力和特色能力两个部分，再分层划分各个子维度的能力。再回顾下开发大模型的生命周期：模型基座（base），增量预训练，sft，奖励学习，人类偏好学习。目前大多还是只走到了sft。
2.6 大模型数据基础：大模型评估数据详解
陌北有棵树的博客
09-05 1517
本篇从大模型的评估方法，评估数据集来谈大语言模型的评估，主要侧重于数据集角度。本篇仍然是工具属性较多，整理了大量的评估数据集来源，建议是可以收藏，有需要的时候再看，我也是这样操作的
C-Eval进行deepseek测试
02-27
### 如何在C-Eval评估中使用DeepSeek进行测试 为了在 C-Eval 评估中使用 DeepSeek 进行测试，需遵循特定流程以确保模型性能得到准确衡量。首先，在准备阶段，应基于已有数据集对 DeepSeek-V3-Base 模型实施微调操作[^1]。此过程中涉及的数据不仅限于冷启动数据，还包括写作、事实问答等多个领域的内容。 完成初步微调之后，进入强化学习环节。这一阶段旨在优化模型对于各种提示(prompt)的理解能力，使其能够更好地适应不同应用场景下的需求。随着强化学习逐渐趋于稳定，会通过拒绝采样等方式生成新的监督细调(SFT)数据，并据此再次训练模型直至获得最终版本——即被命名为 DeepSeek-R1 的检查点。 针对具体的 C-Eval 测试环境部署： #### 准备工作 确保已获取最新版的 DeepSeek-R1 或者更优的选择可能是精简后的 DeepSeek-R1-Distill 版本。后者由于体积较小而更适合资源受限条件下的快速部署与响应[^3]。 #### 部署指南 可以参照官方提供的说明文档来设置运行环境。特别是如果打算利用 vLLM 工具链，则可按照如下命令行指令轻松启动服务： ```bash vllm serve --model deepseek-r1-distill ``` #### 执行评测 一旦服务器端配置完毕，即可着手编写客户端脚本来提交待测问题给到远程 API 接口处处理。注意要严格按照 C-Eval 定义的标准格式构造请求体，以便能正确解析返回的结果用于后续分析比较。 ```json { "prompt": "请解释什么是人工智能？", "max_tokens": 50, "temperature": 0.7 } ``` 上述 JSON 结构展示了向 DeepSeek 发送查询时所需的关键参数设定。其中 `prompt` 字段代表输入文本；`max_tokens` 控制输出长度上限；至于 `temperature` 则影响着生成内容创造性的高低程度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

华师数据学院·王嘉宁

$感谢支持$

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值