书生·浦语-（七）OpenCompass 大模型评测实战

大语言模型评测

如何通过能力测评促进模型发展？

现在市面上已经存有各种大预言模型，对这么多的大语言模型进行评测是区分模型效果好坏的重要指标，大语言模型的评测在全面性、评测成本、数据污染、鲁棒性等方面面临很多挑战。

OpenCompass是一款大模型开源开放评测体系，用于为大语言模型、多模态模型等提供一站式评测服务。下图是其开源历程：

主要特点

如下：
开源可复现：提供公平、公开、可复现的大模型评测方案
全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力
丰富的模型支持：已支持 20+ HuggingFace 及 API 模型
分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测
多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能
灵活化拓展：想增加新模型或数据集？想要自定义更高级的任务分割策略，甚至接入新的集群管理系统？OpenCompass 的一切均可轻松扩展！

如何评测大模型？

OpenCompass的评测方法

分为客观评测与主观评测相结合的方式，客观评测即给定一个标准答案，主观评测则会由真实人类专家的主观评测与基于模型打分的主观评测相结合来进行打分评测。

open pass评测工具的全面升级，包括工具链、基准、榜单、自定义数据集和多模态评测等功能，以及开放共享的基准社区和自研数据集。
 - 基于社区力量，汇集工具基准和榜单三位一体，定期更新榜单和模型性能
 - 支持自定义模型和数据集，切分任务并行化，高效利用资源

opencampass2.0能力升级考察大模型各项能力

基础能力如语言、知识、理解、数学、代码、推理等
综合能力如考试、对话、创作、智能体、评价、长文本等