视频链接:OpenCompass 大模型评测实战_哔哩哔哩_bilibili
基础作业
- 使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能
进阶作业
- 将自定义数据集提交至OpenCompass官网
笔记:
OpenCompass是一个评测平台,中文名称叫做:司南
一、为何要做大模型评测 -- 通过评测可以促进模型的发展
二、大模型评测中面临的挑战
三、OpenCompass 2.0开源历程以及应用情况
四、OpenCompass如何评测大模型
1、根据模型类别(基座模型、对话模型、公开权重的开源模型、API模型)
2、客观与主观评测
3、增加一些扩展例如提示词工程
4、长文本评测(大海捞针)
OpenCompass汇集了社区的力量(工具-基准-榜单 三位一体,形成一个 闭环)
其中CompassRank是一个中立全面的性能榜单
CompassKit是一个大模型评测全栈工具链,例如评测时,如果HF推理速度如果比较慢,可以支持直接更换模型推理后端,如LMDeploy,vLLM,可以加快推理速度。
OpenCompass具有评测流水线,区别于其他评测体系的重要的方面。
CompassHub是一个高质量评测基准社区,开源开放,共建共享
OpenCompass2.0 能力维度全面升级,并且自研了很多数据集,来评测模型的各种能力
具体如下:
MathBench:多层次数学能力评测基准
CIBench:代码解释器能力评测基准
T-Eval:大模型细粒度工具能力评测基准
OpenCompass还与各个行业垂直领域建立合作
作业:
使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能
1、创建Cuda11.7,10% A100 GPU的开发机
2、创建OpenCompass相关虚拟环境,克隆opencompass源码,并安装依赖
3、准备数据,解压评测数据集到 data/ 处
4、查看支持的数据集和模型,列出所有跟 InternLM 及 C-Eval 相关的配置
5、启动评测
评测完成后,结果如下:
将自定义数据集提交至OpenCompass官网
构造新的数据集需要修改至少三个文件,一是opencompass/configs/datasets下面,新建相应的脚本;二是opencompass/opencompass/datasets去构建一个新类,并实现一个load函数,负责把新的数据集以csv/json等格式load进来,并返回DatasetDict形式,传出之后,会在刚才configs里面新建的脚本中拼起来,最终进行append;三是要把这个新类在opencompass/opencompass/datasets/__init__.py中进行import。