书生浦语-测试compass 大模型评测实战

先准备环境，blablablabla，部署环境挺耽误时间的，

接下来开始测试，python run.py --datasets ceval_gen --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug

忙活半天终于加载起来了，需要再安装，pip install protobuf，同时设置环境变量，

export MKL_SERVICE_FORCE_INTEL=1

数据集的评分跑出来了，如下：