OpenCompass 评测 InternLM-1.8B 实践

说明

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。
快速开始 — OpenCompass 0.3.0 文档

前置

已经配置好环境。

开始

数据准备：

主要包括评测数据集准备、以及配置相关文件：
评测数据集，直接用git上的数据解压到本地对应文件夹
然后可以执行命令查看的所有的相关配置文件：

启动评测：

可以使用命令行配置参数进行评测：

#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1
#或
export MKL_THREADING_LAYER=GNU
python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug

也可以在配置文件修改参数，进行评测

在配置文件中编写实验的完整配置，并通过 run.py 直接运行它。

cd /root/opencompass/configs
touch eval_tutorial_demo.py

# 然后在这个新建好的文件中V下面的代码

from mmengine.config import read_base

with read_base():
    from .datasets.ceval.ceval_gen import ceval_datasets
    from .models.hf_internlm.hf_internlm2_chat_1_8b import models as hf_internlm2_chat_1_8b_models

datasets = ceval_datasets
models = hf_internlm2_chat_1_8b_models

# 运行的时候只需要配置文件的路径传一下就可以

cd /root/opencompass
python run.py configs/eval_tutorial_demo.py --debug

在评测完成之后，可以看到界面：