0. 引言
OpenCompass 模型评测,参考:《OpenCompass 初体验,新手如何跑通第一个模型评测》
OpenCompass github 看这里
OpenCompass 是面向大模型评测的一站式平台,官方介绍看这里。其主要特点如下:
(1)开源可复现:提供公平、公开、可复现的大模型评测方案
(2)全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力
(3)丰富的模型支持:已支持 20+ HuggingFace 及 API 模型
(4)分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测
(5)多样化评测范式:支持零样本、小样本及思维链评测,结合标准型或对话型提示词模板,轻松激发各种模型最大性能
(6)灵活化拓展:想增加新模型或数据集?想要自定义更高级的任务分割策略,甚至接入新的集群管理系统?
1. 查看模型及数据集
如果没有下载 OpenCompass,先下载 github:
git clone https://github.com/open-compass/opencompass/tree/main
准备好项目之后,下载dataset:
# 下载数据集到 data/ 处
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip
进入到 OpenCompass 项目中,执行:
# 列出所有配置
python tools/list_configs.py
2. 包含的数据集
OpenCompass 模型评测,请参考:《OpenCompass 初体验,新手如何跑通第一个模型评测》
3. 参考
https://github.com/open-compass/opencompass/blob/main/README_zh-CN.md
欢迎关注本人,我是喜欢搞事的程序猿; 一起进步,一起学习;
欢迎关注知乎/CSDN:SmallerFL
也欢迎关注我的wx公众号(精选高质量文章):一个比特定乾坤