不要自作聪明不按教程来(除了路径以外),最新版本代码数据集都有BUG(吃了大亏)
官方回答
重新新建环境
cd InternLM/
conda create --name opencompass python=3.10
conda activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
pip install -r requirements.txt
pip install protobuf
下载测试数据集(不要用新版数据集!!!)
如果是自己的机器去Release OpenCompass v0.1.8.rc1 · open-compass/opencompass (github.com)
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/InternLM/opencompass/
unzip OpenCompassData-core-20231110.zip
查看config
python tools/list_configs.py internlm mmlu
开始测评(需要约6小时)强烈建议使用tmux【小白入门】Tmux详细 使用教程_tmux 入门-CSDN博客
注意修改权重路径hf-path和tokenizer-path为你的路径,权重请至modelscope自行挑选
python run.py --datasets mmlu_gen --hf-path /root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug
由于Bug,测评完已经无法正常显示
最后综合mmlu测评值为45.85