【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）

最新推荐文章于 2025-03-06 12:33:06 发布

AGI学习社

最新推荐文章于 2025-03-06 12:33:06 发布

阅读量1k

点赞数 10

文章标签： gpt 语言模型 c语言人工智能华为 llama 服务器

本文链接：https://blog.csdn.net/2401_85773741/article/details/144033343

版权

在这里插入图片描述

文章目录

概述
```
* 申请后直接使用大模型
```
- 开源可本地部署
通识数据集测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
```
* 自媒体报道
```
- SuperCLUE：中文通用大模型综合性基准
- C-Eval：中英测评（清华上交提出）
- ```
  * 当前排名（23.06.27）
```
  - 数据集内容
  - ```
      * 具体的科目 如下图：
```
  - 数据量与试题示例
- 论文中的测评结果
- AGIEval：微软中英文评测
- ```
  * 数据集内容
```
  - 人类与国外主流模型差异
- MMLU ：英文试题
- ```
  * 部分测评结果
```
  - 试题内容

概述

中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。中文评测平台榜单比较混乱，看个人使用习惯。
模型汇总： https://github.com/wgwang/LLMs-In-China

申请后直接使用大模型

遇事不决- ChatGPT: https://chat.openai.com/
百度-文心一言：https://yiyan.baidu.com/
360智脑：https://chat.360.cn/
阿里-通义千问：https://qianwen.aliyun.com/
清华-chatGLM:chatglm.cn
科大讯飞-星火：https://xinghuo.xfyun.cn/

开源可本地部署

中文：清华60亿参数 ChatGLM2-6B : https://github.com/THUDM/ChatGLM2-6B

通识数据集测评（C-Eval 、AGIEval、MMLU、SuperCLUE）

自媒体报道

百度文心大模型3.5（ERNIE 3.5）
中文能力突出，部分超过 GPT-4 的表现；综合能力稍逊于GPT-4，但是平均能力超过chatgpt

在这里插入图片描述

SuperCLUE：中文通用大模型综合性基准

评测地址：https://github.com/CLUEbenchmark/SuperCLUE
在这里插入图片描述

C-Eval：中英测评（清华上交提出）

论文：一个用于基础模型评估的多层次多学科的中文评估套件
C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for
Foundation Models

当前排名（23.06.27）

该榜展示了，GPT-4在困难问题，科学技术工程数学（STEM）上的强大准确的回答能力。
而chatglm在人文和社会科学方面遥遥领先。
在这里插入图片描述

数据集内容

具体的科目如下图：

4个圈分别表示：
人文学科（humanities）
社会科学（Social Science）
STEM是科学（Science）、技术（Technology）、工程（Engineering）和数学（Mathematics）四门学科英文首字母的缩写。
这些科目的不同颜色表示四个难度水平：中学、高中、大学和专业水平（professional）。
在这里插入图片描述

数据量与试题示例

在这里插入图片描述

论文中的测评结果

测评方式，API或者开源模型（weights）
在这里插入图片描述

AGIEval：微软中英文评测

论文：AGIEval(一个以人为本的): A Human-Centric Benchmark for Evaluating Foundation
Models.

该基准选取20种面向普通人类考生的官方、公开、高标准的资格考试、包括普通大学入学考试（如中国的高考和美国的SAT考试）、司法考试、数学竞赛等

数据集内容

律师资格考试 (lawyer qualification exams)、
国家公务员考试 (civil servant exams)
GRE（Graduate Record Examination）是美国研究生入学考试）
GMAT（Graduate Management Admission Test）是经企管理类研究生入学考试）。
在这里插入图片描述

人类与国外主流模型差异

GPT-4
在这里插入图片描述

MMLU ：英文试题

测量大规模多任务语言理解：2009. Measuring Massive Multitask Language
Understanding
该测试涵盖了57个任务，包括基础数学（elementary mathematics）、美国历史、计算机科学、法律等等。
用以测量模型是否，具备广泛的世界知识和问题解决能力

部分测评结果

https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu
在这里插入图片描述

试题内容

图来自论文
STEM是科学（Science）、技术（Technology）、工程（Engineering）和数学（Mathematics）四门学科英文首字母的缩写。

在这里插入图片描述

今天只要你给我的文章点赞，我私藏的大模型学习资料一样免费共享给你们，来看看有哪些东西。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】