一、 为什么需要评测:
模型选型、模型能力提升、真实应用场景效果评测
二、 评测内容:
知识、推理、语言;长文本、智能体、多轮对话;情感、认知、价值观
三、 怎么测试大语言模型:
自动化客观评测、人机交互评测、基于大模型的大模型评测
四、 大模型评测领域的挑战
缺少高质量中文评测集;难以准确提取答案;能力维度不足;测试集混入训练集;测试标准各异;人工测试成本高昂
五、 启动评测
-datasets ceval_gen\
--hf-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace 模型路径
--tokenizer-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace tokenizer 路径 (如果与横型路径相同,可以省略)
--tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True \ # tokenizer 的参数
--model-kwargs device_map='auto' trust_remote_code=True \ # 构建模型的参数
--max-seq-len 2048 \ # 模型可以接受的最大序列长度
--max-out-len 16 \ # 生成的最大 token 数
--batch-size 4 \ # 批量大小
--num-gpus 1 \ # 运行模型所需的 GPU 数量
--debug
作业:使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能
指令:
python run.py --datasets ceval_gen --hf-path /share/model_repos/internlm2-chat-7b/ --tokenizer-path /share/model_repos/internlm2-chat-7b/ --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True dvice_map='auto' --max-seq-len 2048 --max-out-len 16 --batch-size 1 --num-gpus 1 --debug
结果:
问题:
一开始报错如下:
最后的结果如下:
原因:可能是oom,调小batch-size即可