书生浦语第七课-OpenCompass 大模型评测实战 笔记-作业

环境准备

1 介绍
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。
2 环境准备

##注意一定要先（切换目录，否则后面可能会有问题）
cd /root/
studio-conda -o internlm-base -t opencompass
source activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .  
#或者下面的(我用的是下面这个，因为当时用pip install -e .的时候后来运行文件还是有library的缺失提醒)
pip install -r requirements.txt

pip install protobuf
export MKL_SERVICE_FORCE_INTEL=1
#新建文件夹存放数据
mkdir -p /root/opencompass/ && cd /root/opencompass/
#copy对应的数据到文件夹
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

解压之后的文件目录是这样的

注意查看一下有没有 python -c “import opencompass; print(‘version =’,opencompass.version)”

列出所有跟 internlm 及 ceval数据集 相关的配置，以表格形式展示
python tools/list_configs.py internlm ceval

启动测评

python run.py --datasets ceval_gen --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug