【司南大模型评测工具 API评测商业大模型】

1、司南大模型评测工具（如果是pip安装，也要git clone 代码文件夹）

conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate opencompass
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .

2、执行评测

1、基于 API 的模型评测商业应用大模型

OpenCompass 目前支持以下基于 API 的模型推理：

• OpenAI（opencompass.models.OpenAI）

• ChatGLM@智谱清言 (opencompass.models.ZhiPuAI)

• ABAB-Chat@MiniMax (opencompass.models.MiniMax)

• XunFei@科大讯飞 (opencompass.models.XunFei)

2、在configs/api_examples 中修改eval_api_zhipu_v2.py

api_key改成你的key

python run.py configs/api_examples/eval_api_zhipu_v2.py