书生·浦语大语言模型——OpenCompass大模型评测

一、 为什么需要评测：

模型选型、模型能力提升、真实应用场景效果评测

二、 评测内容：

知识、推理、语言；长文本、智能体、多轮对话；情感、认知、价值观

三、 怎么测试大语言模型：

自动化客观评测、人机交互评测、基于大模型的大模型评测

四、 大模型评测领域的挑战

缺少高质量中文评测集；难以准确提取答案；能力维度不足；测试集混入训练集；测试标准各异；人工测试成本高昂

五、 启动评测

-datasets ceval_gen\
--hf-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace 模型路径
--tokenizer-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace tokenizer 路径 (如果与横型路径相同，可以省略)
--tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True \ #  tokenizer 的参数
--model-kwargs device_map='auto' trust_remote_code=True \ # 构建模型的参数
--max-seq-len 2048 \ # 模型可以接受的最大序列长度
--max-out-len 16 \ # 生成的最大 token 数
--batch-size 4 \ # 批量大小
--num-gpus 1 \ # 运行模型所需的 GPU 数量
--debug

作业：使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能

指令：

python run.py --datasets ceval_gen --hf-path /share/model_repos/internlm2-chat-7b/ --tokenizer-path /share/model_repos/internlm2-chat-7b/ --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True dvice_map='auto' --max-seq-len 2048 --max-out-len 16 --batch-size 1 --num-gpus 1 --debug

结果：

问题：

一开始报错如下：

最后的结果如下：

原因：可能是oom，调小batch-size即可