说明
在 OpenCompass 中评估一个模型通常包括以下几个阶段:配置 -> 推理 -> 评估 -> 可视化。
快速开始 — OpenCompass 0.3.0 文档
前置
已经配置好环境。
开始
数据准备:
主要包括评测数据集准备、以及配置相关文件:
评测数据集,直接用git上的数据解压到本地对应文件夹
然后可以执行命令查看的所有的相关配置文件:
启动评测:
可以使用命令行配置参数进行评测:
#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1
#或
export MKL_THREADING_LAYER=GNU
python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug
也可以在配置文件修改参数,进行评测
在配置文件中编写实验的完整配置,并通过 run.py 直接运行它。
cd /root/opencompass/configs
touch eval_tutorial_demo.py
# 然后在这个新建好的文件中V下面的代码
from mmengine.config import read_base
with read_base():
from .datasets.ceval.ceval_gen import ceval_datasets
from .models.hf_internlm.hf_internlm2_chat_1_8b import models as hf_internlm2_chat_1_8b_models
datasets = ceval_datasets
models = hf_internlm2_chat_1_8b_models
# 运行的时候只需要配置文件的路径传一下就可以
cd /root/opencompass
python run.py configs/eval_tutorial_demo.py --debug