C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models

最新推荐文章于 2024-08-13 10:02:50 发布
最新推荐文章于 2024-08-13 10:02:50 发布
阅读量145 收藏
点赞数
分类专栏： paper_reading 文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kebijuelun/article/details/131498513
版权

Paper name

C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models

Paper Reading Note

Paper URL: https://arxiv.org/abs/2305.08322

Project URL: https://cevalbenchmark.com/

Code URL: https://github.com/SJTU-LIT/ceval

Blog URL: https://yaofu.notion.site/C-Eval-6b79edd91b454e3d8ea41c59ea2af873

TL;DR

  • 上海交大和清华联合研发的中文大语言模型测试集，是目前最流行的中文测试集之一

Introduction

背景

  • 在 OpenAI GPT 系列 / Google PaLM 系列 / DeepMind Chinchilla 系列 / Anthropic Claude 系列的研发过程中，MMLU / MATH / BBH 这三个数据集发挥了至关重要的作用，因为它们比较全面地覆盖了模型各个维度的能力。最值得注意的是 MMLU 这个数据集，它考虑了 57 个学科，从人文到社科到理工多个大类的综合知识能力。DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型
  • 中文大模型研发如火如荼，但中文评价基准却很少

本文方案

  • 本文花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集，管它叫 C-Eval，来帮助中文社区研发大模型

Dataset/Algorithm/Model/Experiment Detail

实现方式

模型强弱的核心指标
  • 考虑知识和推理这两项核心：
    • 知识能力：
      • 需要模型知道各个领域的知识，可以很好地衡量底座模型的潜力。
      • 模型大小与知识密集型任务的效果显著正相关，这是因为模型的参数量可以被用来储存知识
      • MMLU 的核心就是测模型的知识覆盖面
    • 推理能力：
      • 在知识的基础上进一步上升的能力，它代表着模型是否能做很困难，很复杂的事情。一个模型要强，首先需要广泛的知识，然后在知识的基础上做推理。
      • 推理是很显著的强的模型有，弱一点的模型不大有的能力。
      • 在 PaLM-2 的 Tech Report 中，BBH 和 MATH 这两个推理数据集被专门列出来讨论划重点
Ceval 研发目标
  • 辅助模型开发，而不是打榜：在实际研发的过程中，很多时候我们需要知道某种方案的好坏或者某种模型的好坏，这个时候我们需要一个数据集帮助我们测试。以下是两个经典场景：
    • 场景 1 ，辅助超参数搜索：我们有多种预训练数据混合方案，不确定哪种更好，于是我们在 C-Eval 上相互比较一下，来确定最优预训练数据混合方案。
    • 场景 2 ，比较模型的训练阶段：我有一个预训练的 checkpoint ，也有一个 instruction-tuned checkpoint，然后我想要衡量我的 instruction-tuning 的效果如何，这样可以把两个 checkpoint 在 C-Eval 上相互比较，来衡量预训练和 instruction-tuning 的相对质量。
如何保证数据质量
  • 参考 MMLU 和 MATH 数据的构建过程，做了两个重要的决策：
    • 一个是从头开始手工制做数据集
    • 另一个是在此过程中重点防止题目被爬虫爬到训练集里
  • 手工制作
    • 来源于pdf和word格式的文件，通过人工额外清洗获得最终题目
    • 13000 多道测试题，所有跟符号相关的内容都人工验证过
      在这里插入图片描述
    • 因为用 GPT4 生成的 COT 效果不佳，所有用于 few-shot 的 COT 样例都是由人工自己做了一遍得到的
      在这里插入图片描述
  • 防止混入训练集的方法
    • 测试集值公开问题不公开答案
    • CEval 所有题目都是模拟题，从中学到职业考试都没有用任何真题，因为真题容易被爬取到训练集中
提升排名的方法

  • 捷径：

    • 使用 LLaMA 作为基座模型：在我们另一个相关的英文模型评测项目 Chain-of-thought Hub 中，我们指出了 65B 的 LLaMA 模型是一个稍弱于 GPT-3.5 的基础模型，它有着很大的潜力，如果把它用中文的数据训练，其强大的英文能力可以自动迁移到中文。
      • 但这样做的坏处，一来是研发能力的上限被 LLaMA 65B 锁死，不可能超过 GPT-3.5，更何况 GPT-4 了，另一方面是 LLaMA 不可商用，使用它商业化会直接违反条例
    • 使用 GPT-4 生成的数据：特别是 C-Eval Hard 的部分，直接让 GPT-4 做一遍，然后 GPT-4 的答案喂给自己的模型就可以了
      • 这样做的坏处，一来是赤裸裸作弊，得到的结果并不能泛化，不能代表模型真实能力；二来是如果商业化，就直接违反了 OpenAI 的使用条例；三来是从 GPT-4 做蒸馏会加剧模型胡说八道的现象，这是因为 RLHF 在微调模型拒绝能力的时候，是鼓励模型知之为知之，不知为不知

  • 困难但正确的道路：自立自强，从头研发

  • 研发大模型不能着急

    • OpenAI 的 GPT 系列从 GPT-3 走到 GPT-4，从 2019 到 2023，一共花了四年的时间。
    • Anthropic 原班人马从 OpenAI 剥离之后，即使有 GPT-3 的经验，重新做一遍 Claude 也花了一年的时间。
    • LLaMA 的团队，即使有 OPT 和 BLOOM 的教训，也花了六个月的时间。
    • GLM-130B 从立项到发布，花了两年的时间。
    • MOSS 的 alignment 的部分，在 RL 之前的内容，也花了将近半年的时间，这还是没算 RL 的

实验结果

  • 榜单：https://cevalbenchmark.com/static/leaderboard.html
    在这里插入图片描述

Thoughts

  • 博客写得很好，告知了很多数据集构建中所遇到的问题，也为大语言模型研发提供了一些建议
kebijuelun
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nlg-eval：用于自然语言生成的各种无监督自动度量的评估代码
02-03
评估 用于NLG（自然语言生成）的各种无监督自动度量的评估代码。 它以一个假设文件和一个或多个参考文件为输入，并输出度量值。 这些文件中的行应对应于同一... models, embeddings) and external code files. nlg-ev
lm-evaluation-harness:一次评估自回归语言模型的框架
04-05
大型语言模型的评估工具 概述 该项目的目标是根据描述的GPT-3评估，构建一套用于评估典型NLU任务上的LM的工具。 按照最初的描述，此存储库应支持3个功能： LM评估 从LM训练集中删除任务评估/测试数据 ...
中文大模型评估基准：C-EVAL: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models
m0_58432503的博客
07-17 3605
不同的LLM在简单场景（如简单聊天）下的表现可能是差不多的，真正体现不同模型之间差距的应该是比较复杂的任务场景，因此需要构建一个复杂全面的评估基准C-Eval。
C-EVAL: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models翻译
nopSled
05-25 1143
评估基准是AI开发的核心角色。虽然传统的NLP基准被设计用于衡量特定和相对简单的能力，但大语言模型（LLM）或基础模型已经展示了各种新功能，并将评估重点转移到了更通用和复杂的技能上，例如广泛的世界知识和复杂的推理技能。为了与LLM的新时代保持对齐，最近提出了一些新的测试基准，以探究各种LLM的能力。例如，MMLU，BIG-bench和HELM基准试图整合各种NLP任务以进行整体评估。其他一些基准特别关注随模型尺寸而出现的高级LLM能力，例如推理，难数学问题求解和编码。
上交清华搞事情！发起最全学科大模型中文知识及推理评测！GPT-4 竟然血洗所有国产模型...
weixin_36896856的博客
05-22 403
点击上方“AI遇见机器学习”，选择“星标”公众号第一时间获取价值内容夕小瑶科技说 原创作者 | 小戏、Python从 OpenAI 的 ChatGPT、Meta 的 LLaMA、Anthropic 的 Claude 到复旦的 Moss、清华的 ChatGlm、MiniMax 的 Glow，国内的国外的大模型百花齐放层出不穷。那么，抛出一个相信大家都会关心的问题！在中文背景下，这些各门各派的大模...
【论文通读】C-EVAL: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models
最新发布
HERODING23的博客
08-13 621
一篇关于评估大模型中文能力的benchmark工作，虽然从benchmark的设计角度来看没有额外的新意，但是从故事性和切入点来说都是一个非常不错的工作。此外，文末的Conclusion部分我还对benchmark的设计原则进行了讨论，感兴趣的朋友可以直接跳到文章最后部分查看。PaperCodeFromC-EVAL是第一个全面的中文benchmark用于评估LLMs在中文语境下的基础储备和推理能力。C-EVAL包含四个不同等级的多选问题：中学，高中，大学和职业。
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
热门推荐
进一寸有一寸的欢喜
06-27 1万+
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。`中文评测平台`榜单比较混乱，看个人使用习惯。
ChatGLM2发布，位居C-Eval榜首!
dzysunshine的博客
06-30 1210
ChatGLM-6B自2023年3月发布以来，就已经爆火，如今6月25日，清华二代发布（ChatGLM2-6B），位居C-Eval榜单的榜首！
ide-eval-resetter-2.3.5.jar,重新定义idea使用时间
07-19
`ide-eval-resetter-2.3.5.jar` 是一个针对这个问题的第三方工具，它的主要功能是重置IntelliJ IDEA的试用期，让开发者能够继续免费体验完整版的IDE。 这个工具的版本号是2.3.5，这意味着它经过了多次迭代和改进，...
multi-quine:使用关系解释器为两种类似 Scheme 的语言生成简单的多语言 quines
06-24
这是来自“multi-lang-quines-langs-1-and-2-non-cheeky”多语言quine推理测试的最后（也是最有趣的）对程序： (run 17 (p q) (eval-expo-lang-1 p '() q) (eval-expo-lang-2 q '() p)) 语言 1 中的程序p使用...
大语言模型集成工具 LangChain
kebijuelun的博客
01-17 1万+
介绍：通过可组合性使用大型语言模型构建应用程序【背景】大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序，但是单独使用这些 LLM 往往不足以创建一个真正强大的应用程序，当可以将它们与其他计算或知识来源相结合时，就有真的价值了。LangChain 旨在协助开发这些类型的应用程序使用文档：https://langchain.readthedocs.io/en/latest/index.html。
WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving
kebijuelun的博客
01-27 4710
Paper name WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving Paper Reading Note URL: https://openaccess.thecvf.com/content_ICCV_2019/papers/Yogamani_WoodScape_A_Multi-Task_Multi-Camera_Fisheye_Dataset_for_Autonomous_Driving_ICCV
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
kebijuelun的博客
03-12 4539
如下图所示，所提出的主要模块叫做 Prompt Manager，作用是基于用户输入，结合 chatgpt 和各个视觉基础模型实现用户给定的多模态任务。Visual ChatGPT 多模态对话系统的功能对于上面每轮答案 Ai 都需要利用一系列 VFM(F) 模型，具体的处理模块为 Prompt Manager (M)，公式表示为。整体流程如下图所示，左边展示了三轮对话内容，中间展示了 Visual ChatGPT 具体处理流程，右边展示了处理第二轮对话中 VFM 模型的具体处理细节。支持的视觉基础模型汇总。
Consistent Video Depth Estimation - 时序一致的视频深度估计算法
kebijuelun的博客
12-08 4072
Paper name Consistent Video Depth Estimation Paper Reading Note https://arxiv.org/pdf/2004.15021.pdf TL;DR SIGGRAPH 2020 的文章，提出了一种基于视频的重建方案，结合基于深度学习的深度估计方法及传统的基于几何约束的方法，来得到准确和一致的深度；具体采用的方法是在测试时对单帧深度估计网络进行 finetune，让模型学会满足特定场景的几何约束，同时也保持合成合理深度的能力 Introduct
Parallax-tolerant Image Stitching - 解决大视差图片拼接的方法
kebijuelun的博客
06-25 3132
Paper name Residual Attention Network for Image Classification Paper Reading Note URL: http://web.cecs.pdx.edu/~fliu/papers/cvpr2014-stitching.pdf TL;DR Introduction Dataset/Algorithm/Model/Experim...
State of GPT (ChatGPT 原理及现状介绍)
kebijuelun的博客
06-01 3026
要用 RLHF 的一个简单的原因就是 RLHF 模型效果更好，下面的图来源于 InstructGPT 论文，PPO (RLHF 算法) 后的模型生成的答案更被人类喜欢。karpathy 认为 RLHF 有用的原因是判别比生成更容易，让标注员去写一些 SFT 的 QA 数据对是比较难的，如果有一个 SFT 模型生成一些数据让标注员判断哪个更好就简单很多。，GPT4 最强，前三个都是 RLHF 模型，其他模型都是 SFT 模型。伯克利做的模型评测榜单。
Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision
kebijuelun的博客
01-27 2946
Paper name Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision Paper Reading Note URL: https://arxiv.org/pdf/1803.06192.pdf TL;DR 2018 年 ITSC 文章，出自于德国 Valeo 自动驾驶公司，提出了单目鱼眼深度估计的有监督训练方案，并针对雷达与鱼眼相机安装位置不一样造成的遮挡问题提出了一种基于形态学滤波的过滤方法 Introdu
FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection
kebijuelun的博客
05-21 2918
Paper name FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection Paper Reading Note URL: https://arxiv.org/pdf/2104.10956.pdf TL;DR 基于 Fcos 改进的 3d 检测方案，在 NeurIPS 2020 的 nuScenes 3d 检测比赛上取得了第一名成绩 Introduction Fcos3d 方案 将 7-DoF 3D 目标解耦为 2
-bash: EVAL: command not found
06-02
如果在 Docker 容器中执行 Redis 的 Lua 脚本时，遇到 `-bash: EVAL: command not found` 的错误，可能是因为 EVAL 命令被解释为 Shell 命令而不是 Redis 命令。可以使用 redis-cli 命令进入 Redis-cli，然后使用 EVAL 命令来加载和运行 Lua 脚本。 以下是在 Docker 容器中执行 Redis Lua 脚本的修改步骤： 1. 进入 Redis 容器：使用 docker exec 命令进入 Redis 容器。 ``` docker exec -it <redis-container-name> /bin/bash ``` 2. 进入 Redis-cli：在 Redis 容器中使用 redis-cli 命令进入 Redis-cli。 ``` redis-cli ``` 3. 加载 Lua 脚本：在 Redis-cli 中使用 EVAL 命令将 Lua 脚本加载到 Redis 中。注意：如果 Lua 脚本很长，可以将其存储在文件中并使用 EVALSHA 命令加载。 ``` redis-cli EVAL "return redis.call('GET', KEYS[1])" 1 mykey ``` 4. 提供参数：在运行 Lua 脚本时，可以使用 ARGV 和 KEYS 参数向 Lua 脚本传递参数。 ``` redis-cli EVAL "local key = KEYS[1]\nlocal value = ARGV[1]\nreturn redis.call('SET', key, value)" 1 mykey myvalue ``` 5. 处理返回值：Lua 脚本返回一个结果，可以在 Redis-cli 中使用返回值进行进一步处理。 ``` redis-cli GET mykey ``` 注意：在执行 Redis Lua 脚本时，需要注意 Redis 版本和 Redis Lua 脚本的兼容性。特别是在使用 Redis 集群时，需要使用 EVAL 命令而不是 EVALSHA 命令，因为在 Redis 集群中，SHA1 校验和在不同节点上可能不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值