课程资料
视频:OpenCompass 大模型评测实战_哔哩哔哩_bilibili
文档:https://github.com/InternLM/Tutorial/blob/camp2/opencompass/readme.md
基础知识
大语言模型评测中的挑战
如何评测大模型
CompassKit
OpenCompass评测流水线
部署实操
本次课程大多数工作都在pip install
安装了tqdm、prettytable、datasets、transformers、jieba、sklearn、evaluate、rouge_chinese、nltk、rank_bm25、sentence_transformers、tiktoken、absl-py、fuzzywuzzy、sentencepiece、python-Levenshtein、einops、accelerate
各类包未安装完成时,会不停报错,输出结果如下:
运行成功结果如下: