OpenCompass 评测 InternLM-1.8B 实践

一、OpenCompass介绍

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。

GitHub地址：https://github.com/open-compass/opencompass/tree/main

OpenCompass 是面向大模型评测的一站式平台。其主要特点如下：

• 开源可复现：提供公平、公开、可复现的大模型评测方案

• 全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力

• 丰富的模型支持：已支持 20+ HuggingFace 及 API 模型

• 分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测

• 多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能

• 灵活化拓展：想增加新模型或数据集？想要自定义更高级的任务分割策略，甚至接入新的集群管理系统？OpenCompass 的一切均可轻松扩展！

二、OpenCompass评测InternLM-1.8B

1.环境配置

参考https://github.com/open-compass/opencompass/blob/main/README_zh-CN.md完成环境配置

2.数据准备

# 下载数据集到 data/ 处
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

将会在 OpenCompass 下看到data文件夹

3.查看支持的数据集和模型

列出所有跟 InternLM 及 C-Eval 相关的配置

python tools/list_configs.py internlm ceval

将会看到

4.启动评测

(1)调用本地模型进行测评

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。

python run.py \
    --datasets ceval_gen \
    --hf-type chat \
    --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ \
    --debug

结果如下：

（2）调用API评测（进阶任务）

本部分使用qwen来测评，首先安装dashscope:

pip install dashscope

执行评测脚本：

python3 run.py configs/api_examples/eval_api_qwen.py  --datasets ceval_gen

因为api调用过程中各种错误，未能完整跑完测评