OpenCompass使用MMLU数据集评测大模型

fengyanziup

已于 2024-08-05 18:39:38 修改

阅读量519

点赞数 11

文章标签： linux 人工智能 python

于 2024-08-05 18:31:59 首次发布

本文链接：https://blog.csdn.net/fengyanziup/article/details/140904370

版权

不要自作聪明不按教程来（除了路径以外），最新版本代码数据集都有BUG（吃了大亏）

官方回答

重新新建环境

cd InternLM/
conda create --name opencompass python=3.10
conda activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install protobuf

下载测试数据集（不要用新版数据集！！！）

如果是自己的机器去Release OpenCompass v0.1.8.rc1 · open-compass/opencompass (github.com)

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/InternLM/opencompass/
unzip OpenCompassData-core-20231110.zip

查看config

python tools/list_configs.py internlm mmlu

开始测评（需要约6小时）强烈建议使用tmux【小白入门】Tmux详细使用教程_tmux 入门-CSDN博客

注意修改权重路径hf-path和tokenizer-path为你的路径，权重请至modelscope自行挑选

python run.py --datasets mmlu_gen --hf-path /root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug