OpenCompass 大模型评测实战——笔记

一、评测

1.1、为什么要做评测

因为通过评测，可以更好地发现大模型的问题。现在大模型在各个领域都有应用，那显然，也需要多维度的评测体系对其检测，发现哪个维度强，哪个维度弱，然后对于弱的维度，再进行针对性地提高。

这就像学习一样，如果没有平常的考试，你是不会确定自己到底学的怎么样，哪些知识点是薄弱环节需要重点提高。

1.2、如何通过能力评测促进模型发展

1.2.1、面向未来拓展能力维度

评测体系需增加新能力维度如数学、复杂推理、逻辑推理、代码和智能体等，以全面评估模型性能。

1.2.2、扎根通用能力

聚焦垂直行业在医疗、金融、法律等专业领域，评测需结合行业知识和规范，以评估模型的行业适用性。

1.2.3、高质量

中文基准针对中文场景，需要开发能准确评估其能力的中文评测基准，促进中文社区的大模型发展。

1.2.4、性能评测

反哺能力迭代通过深入分析评测性能，探索模型能力形成机制，发现模型不足，研究针对性提升策略。

1.3、评测的挑战

1.3.1、全面性

现在大模型应用场景千变万化，几乎各行各业都能看到它的影子，同时，模型能力演进迅速，在这样的条件下，如何设计和构造可扩展的能力维度体系，难度还是很大的。

1.3.2、评测成本

在客观评测方面，比如评测数十万道题，那是需要大量算力资源。

在主观评测方面，有时候需要调用 api 来评测，比如调用 GPT-4 作为法官来评测哪个模型好，那这也是需要成本的。

基于人工打分的主观评测成本不用说，那就更高昂了。

1.3.3、数据污染

海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。

1.3.4、鲁棒性

某些大模型对提示词十分敏感，换了一套问法可能答案就不正确了，又或者是多次采样情况下模型性能不稳定，那这也是评测需要解决的问题。

二、OpenCompass怎么评测

2.1、模型分类

对于模型评测，不可能使用一套标准对所有模型进行评测，所以会将模型先分个类。

司南 评测体系 总共将模型分为四大类，包括：

• 基座模型。一开始的只经过海量数据无监督训练的模型。
• 对话模型。包括经过指令数据有监督微调 ( SFT ) 和 人类偏好对其 ( RLHF ) 的模型。
• 公开权重的开源模型。这类模型使用GPU/推理加速卡进行本地推理。
• API 模型。就是使用者发送网络请求然后获取回复。

2.2、客观与主观评测

2.3、提示词工程

既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。比如：

• 明确性
  不好的示例 : 请写一篇关于人工智能的全面介绍( 目标过于宽泛，缺乏具体要求和细节 )
  好的示例 : 请为我写一篇关于人工智能的科普文章，要求涵盖其发展历程、应用领域以及对社会的影响。( 目标明确，完整覆盖了主题内容 )
• 概念无歧义
  不好的示例: 我想了解苹果。( 问题内容存在歧义 )
  好的示例: 请描述苹果公司的创始人史蒂夫·乔布斯的职业生涯( 给出了准确的概念 ）
• 逐步引导
  不好的示例 : 告诉我怎么做蛋糕。( 缺少指引)
  好的示例: 首先，我需要准备哪些材料来制作巧克力蛋糕? 接下来，烘焙过程中有哪些关键步骤？( 给出了思路引导 )
• 具体描述
  不好的示例 : 告诉我一个笑话。( 缺少具体细节 )
  好的示例: 请创作一个关于时间旅行的幽默故事( 给出了具体的问题描述和范围 )
• 迭代反馈
  不好的示例 : 这个回答不够详细。( 缺少清晰的反馈 )
  好的示例:你能更详细地解释人工智能在医疗诊断中的应用吗？( 明确清晰的修改建议 )

还有比如 小样本学习、思维链技术 都可以帮助题目变得更好。

2.4、长文本评测

在上面的例子中，在一个很长的文档，比如在红楼梦当中插入一句话 “小明在上海人工智能实验室学习”，这句话和红楼梦没有半点关系，然后交给模型训练，那如果我们后续提问，比如 “小明在哪实习”，模型能回答 “上海人工智能实验室” 这种回答，就代表模型真的能记住这条信息并且能够理解这句话，能够做到 “大海捞针”。