排行榜：C-Eval

已于 2025-05-18 19:24:07 修改
阅读量17 收藏
点赞数
分类专栏： # LLM/评测 文章标签： C-Eval
于 2025-05-18 19:21:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/148048496
版权
中文大模型评估数据集——C-Eval
夏栀的博客
07-29 2012
作者强调了在这种具有挑战性的环境中评估LLM的重要性， 因为目前的LLM发展已经超越了创建一个休闲的聊天机器人–它涉及到能够与各种数据类型互动、接收反馈、推理和使用工具、甚至执行行动的复杂系统或代理的发展（Mialon等 人，2023）。（Muennighoff等人，2022）是通过将多任务提示微调与预训练的多语言BLOOM模型（Scao等人，2022）相结合而创建的，不仅使用英语提示，还使用机器翻译的提示来匹配多语言任务的语言，并且被认为能够进行任务和语言无关的泛化。是对原LLaMA在中文环境中的改编。
论文翻译：2024-findings-naacl.CLEAN–EVAL: Clean Evaluation on Contaminated Large Language Models
CSPhD-winston的博客
12-30 869
我们目前正处于各种大型语言模型（LLMs）之间激烈竞争的时代，它们不断推动基准性能的极限。然而，由于潜在的数据污染问题，真正评估这些LLMs的能力已成为一个具有挑战性和关键性的问题。在本文中，我们提出了一种新颖且有价值的方法，Clean-Eval，它减轻了数据污染问题，并对LLMs进行了更清洁的评估。Clean-Eval使用基于神经网络的模型对受污染的数据进行释义和回译，生成具有相同含义但不同表面形式的候选集。然后使用语义检测器过滤这些生成的低质量样本，以缩小这个候选集。
标题：探索未来智能：C-Eval - 全面的中文基础模型评估套件
gitblog_00740的博客
08-08 298
标题：探索未来智能：C-Eval - 全面的中文基础模型评估套件 cevalOfficial github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023]项目地址:https://gitcode.com/gh_mirrors/ce/ceval 在人工智能领域，尤其是在自然语言处理（...
ChatGLM2发布，位居C-Eval榜首!
dzysunshine的博客
06-30 1457
ChatGLM-6B自2023年3月发布以来，就已经爆火，如今6月25日，清华二代发布（ChatGLM2-6B），位居C-Eval榜单的榜首！
C-Eval开源项目使用指南
gitblog_00174的博客
12-14 662
C-Eval开源项目使用指南 ceval Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023] ...
推荐项目：VIDEVAL - 智能视频质量评估利器
gitblog_00908的博客
08-23 443
推荐项目：VIDEVAL - 智能视频质量评估利器 VIDEVAL[IEEE TIP'2021] "UGC-VQA: Benchmarking Blind Video Quality Assessment for User Generated Content", Zhengzhong Tu, Yilin Wang, Neil Birkbeck, Balu Adsumilli, Alan C. B...
论文翻译：arxiv-2024 ConStat: Performance-Based Contamination Detection in Large Language Models
CSPhD-winston的博客
09-07 707
公共基准测试在评估大型语言模型（LLM）中起着至关重要的作用。然而，数据污染可能导致性能虚高，使它们在模型比较中变得不可靠。因此，检测污染并估计其对测量性能的影响至关重要。不幸的是，现有的检测方法容易被规避，并且无法量化污染。为了克服这些限制，我们提出了一种新的污染定义，即人为夸大且不具有泛化能力的基准测试性能，而不是将基准测试样本包含在训练数据中。这种观点使我们能够检测任何性能虚高的模型，即不泛化到重新表述的样本、来自相同分布的合成样本或同一任务的不同基准测试的性能。
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
h1453586413的博客
06-03 1612
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。中文评测平台榜单比较混乱，看个人使用习惯。
新晋“学霸”夸克大模型拿下C-Eval和CMMLU双榜第一
CSDN云计算
11-16 403
夸克大模型同时登顶两大权威榜单，也进一步证明夸克在数据增强、模型选择、训练策略、模型融合以及模型评估上，处在行业领先地位。此外，夸克大模型还拥有强大的文学创作能力，能够根据用户提供的主题或关键词，生成连贯、有逻辑、有深度的文本内容，可以帮助用户撰写文章、新闻、诗歌等各类文本，支持续写、润色、仿写、批改等多种不同写作需求，进一步提高用户的创作效率。据介绍，凭借数据、行业、知识正确性、平台等四大优势，夸克大模型应用会优先落地在通识问答、专业搜索等信息服务领域，满足年轻人学习知识和提升自我的需求。
中文多级多学科评估套件C-EVAL：评估大型语言模型在中国语境下的高级知识与推理能力
最新发布
02-02
内容概要：本文介绍了名为C...其他说明：C-EVAL 数据集及相关评估代码公开发布于GitHub，并设有在线提交系统和实时排行榜供研究社区参考与合作。同时提醒未来的研究应该继续探索除精度以外的安全性和偏差等方面的考量。
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 9877
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
Qualcomm AI Engine Direct SDK（QNN）的使用介绍
u013250861的博客
03-28 5245
Qualcomm AI Engine Direct SDK，高通新的AI模型推理框架，又名QNN，为AI开发提供统一API的底层框架。通过这个SDK，可以在高通的 CPU/GPU和HTP上对AI模型进行性能加速。2.Qualcomm AI Engine Direct SDK的公开英文文档。1.Qualcomm AI Engine Direct SDK的下载和安装。
大模型推理：transformers中的generate函数参数配置
u013250861的博客
12-07 2675
辅助理解案例： 2、transformers/generation/configuation_utils.py 3、transformers/generation/utils.py/GenerationMixin 参考资料： transformers中的generate函数解读 以beam search为例，详解transformers中generate方法（上） 使用预训练模型自动续写文本的四种方法
CUDA编程：概述
u013250861的博客
06-15 2107
ptr2 = 引用栈的P位置上，8个字节。ptr2 = G 把G复制到。
万字长文，安培架构解析暨RTX3080核弹头知乎首测
u013250861的博客
11-23 1128
编者按：这是我兄弟Cloud原创的RTX3080评测报告。本文无利益相关，属于工作原因接触到的样卡。限于个人水平，差错在所难免，无意当什么KOL，也不标榜客观独立，毕竟这是个人作品，人都有七情六欲，都有喜好厌恶，这不是机器人写的。安培在发布之前，可以说是迷雾重重，特别是在发布前一周,VCZ还煞有介事的放出一张规格图，说RTX 3080和2080TI一样是4352SP，而3090也只是多20%，仅仅有5248SP。也就这样一张规格表，还真忽悠到不少人，我都差点上当。
NTK等价于Kernel Regression
u013250861的博客
01-03 1064
当然，这篇随笔并不只是上面这篇开山之作（NIPS 2018）的阅读笔记，而是融合了我所需要的NTK相关的基本知识。某种意义上写这篇博客有点“不务正业”了，因为和目前想做的内容没有直接相关。之所以决定好好记录一下NTK是因为最近看到的几篇理论文章在推导时都应用了NTK的假设和一部分内容，并且认真了解网络动力学和优化相关的理论更利于随后工作的开展。反正学到就是赚到。
大模型推理加速工具：vLLM
u013250861的博客
11-10 581
【代码】大模型推理加速工具：vLLM。
Triton教程 -- 利用Triton部署你自己的模型
u013250861的博客
11-10 344
我的模型与 Triton 兼容吗？如果您的模型属于 Triton 支持的后端之一，那么我们可以简单地尝试按照快速入门指南中的描述部署该模型。对于、TensorFlow SavedModel 和 TensorRT 后端，可以使用 Triton 的自动完成功能从模型中推断出最小模型配置。这意味着可能仍会提供 config.pbtxt，但不是必需的，除非您想明确设置某些参数。此外，通过 --log-verbose=1 启用详细日志记录，您可以在服务器日志输出中看到 Triton 在内部看到的完整配置。
AI模型推理框架
u013250861的博客
08-31 240
四. AI模型推理框架 - 知乎
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值