【InternLM 实战营第二期笔记07】OpenCompass 大模型评测实战

一、为什么要研究大模型的评测

研究大模型的评测至关重要，原因如下：

1. 性能评估与比较：通过评测，可以客观地评估大模型的性能，包括其准确性、效率、鲁棒性等多个方面。这有助于模型开发者了解模型的优缺点，从而进行有针对性的改进。同时，评测也为不同模型之间的比较提供了依据，有助于选择最适合特定任务的模型。
2. 推动模型发展：评测不仅可以评估现有模型的性能，还可以为模型的发展提供方向。通过分析评测结果，可以发现模型在哪些方面存在不足，从而指导未来的研究重点。此外，评测还可以推动模型技术的创新，如新的模型结构、优化算法等。
3. 确保模型质量：在实际应用中，模型的质量直接关系到其效果和价值。通过严格的评测，可以确保大模型在实际应用中具有良好的性能，避免因模型质量问题导致的损失。
4. 促进模型应用：评测结果可以作为模型应用的重要依据。对于需要应用大模型的场景，如自然语言处理、图像识别等，可以根据评测结果选择合适的模型。此外，评测还可以帮助用户了解模型的特点和适用范围，从而更好地利用模型解决实际问题。
5. 提升行业标准化：随着大模型在各个领域的广泛应用，行业标准化变得越来越重要。通过制定统一的评测标准和方法，可以促进大模型技术的规范化发展，提高整个行业的水平。

综上所述，研究大模型的评测对于推动模型发展、确保模型质量、促进模型应用以及提升行业标准化都具有重要意义。

二、OpenCompass介绍

OpenCompass是上海人工智能实验室开源的大模型评测平台，该平台具有一系列显著的特点和功能。

首先，它提供了开源可复现的评测方案，保证了评测的公平、公开和可复现性。这为研究者提供了一个稳定可靠的基准，使得不同模型之间的比较更加准确和有意义。

其次，OpenCompass在评测维度上非常全面，涵盖了学科、语言、知识、理解、推理等五大维度。通过提供70+个数据集约40万题的模型评测方案，它能够全面评估大模型的能力，包括语言与理解、常识与逻辑推理、数学计算与应用、多编程语言代码能力、智能体、创作与对话等多个方面。

此外，OpenCompass还提供了丰富的模型支持，已经支持了20+ HuggingFace及API模型。这使得研究者可以方便地在平台上对不同的模型进行评测和比较。

三、大语言模型评测中遇到的挑战

大模型评测中存在很多挑战：

全面性：

1.大模型应用场景千变万化，要对每个场景都设计对应的评测

2.模型能力演进迅速，模型能提提升迅速，如何有效评测模型能力是急需解决的

3.设计和构造可扩展的能力维度体系，从多维度评测模型能力要设计出可以扩展的评测方式

评测成本：

评测数万道题，在本地运行需要大量计算资源，api评测也有很高的费用

数据污染：

1.模型训练的海量语料不可避免带来数据污染

2.急需可靠的数据污染检测技术

3.如何设计可动态更新的高质量评测基准

鲁棒性：

1.大模型对提示词十分敏感，如何设计提示词让模型发挥出最大实力是需要设计的

2.对模型进行多次采样，模型性能不稳定

四、如何评测大模型

评测大模型是一个复杂且多维度的任务，涉及多个关键方面的考量。以下是一些建议的步骤和要点，用于全面地评测大模型：

1.明确评估目标

首先，需要明确评测大模型的具体目标。这包括但不限于模型的准确性、效率、鲁棒性、可解释性等方面。根据应用场景的需求，可以确定主要的评估指标。

2.准备数据集

为了进行客观公正的评估，需要准备合适的数据集。数据集应涵盖各种场景和情境，以便充分测试模型的性能。同时，数据集的标注和质量也至关重要，以确保评估结果的准确性。

3.模型性能测试

1. 准确性测试：通过对比模型输出与真实标签或人类专家的评估结果，衡量模型的准确性。可以采用不同的评估指标，如准确率、召回率、F1值等。
2. 效率测试：评估模型在处理数据时的速度、内存占用等性能表现。这有助于了解模型在实际应用中的可行性。
3. 鲁棒性测试：测试模型在噪声数据、异常输入或对抗性攻击等情况下的表现。这有助于了解模型在各种复杂场景下的稳定性。

4.可解释性评估

对于大模型，可解释性是一个重要的考量因素。通过分析模型的内部结构和决策过程，可以更好地理解模型的工作原理，并发现潜在的问题和改进方向。

5.对比实验与基准测试

为了更全面地评估大模型的性能，可以与其他同类模型进行对比实验，并使用基准测试数据集进行测试。这有助于了解模型在同类中的优势和不足。

五、提示词工程

提示词工程（Prompt Engineering）是一种专门针对语言模型进行优化的方法。其核心目标是通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型如GPT-3、BERT等交互时，给定的提示词会极大地影响模型的响应内容和质量。

提示词工程关注于如何创建最有效的提示词，以便让模型能够理解和满足用户的需求。这可能涉及到对不同场景的理解、使用正确的词汇和语法结构，以及尝试不同的提示策略以观察哪种效果最佳。此外，它还可以用于生成高质量的文本，控制生成文本的风格、内容和结构，以满足不同场景下的需求。

小样本学习

小样本学习是一种机器学习方法，旨在在有限的数据样本下，使模型能够进行有效的学习。在图片中提到的示例中，小样本学习可能体现在使用较少的示例数据来训练或优化模型进行文本分类或情感分析。例如，通过“苹果发布新款iPhone”、“美国大选结果揭晓”和“全球气候变化影响报告”这几个简短示例，模型被训练来识别不同文本的主题。小样本学习的关键在于如何高效地从有限的数据中提取有用的信息，并据此优化模型的性能。

思维链技术

思维链技术可能指的是一种通过一系列逻辑上的连续步骤或链接来解决问题或推导结论的方法。在图片中，思维链技术似乎被应用于处理复杂问题或任务，特别是在情感分析和文本分类方面。例如，在情感分析的示例中，模型不仅识别文本的情感（正面、负面或中性），还进一步通过思维链进行更深入的推理。比如，面对“我对这个结果感到失望”这样的文本，模型可能首先识别出“失望”是负面情感，然后进一步分析这一情感与前面提到的结果之间的关系。思维链技术的核心在于建立逻辑上紧密相连的推理步骤，以便模型能够更准确地理解并回答复杂问题。

 六、客观评测与主观评测

客观评测与主观评测在模型评估中各自扮演着重要的角色，它们为全面评估模型的性能提供了不同的视角和方法。

客观评测主要依赖于具体的量化指标和数据来评估模型的性能。在机器学习和自然语言处理领域，常见的客观评测指标包括准确率、召回率、F1值、AUC等。这些指标可以通过对比模型预测结果与真实标签来计算得出，从而客观地反映模型在特定任务上的表现。客观评测的优点在于其客观性和可重复性，能够消除人为因素的干扰，确保评估结果的公正性和准确性。

主观评测更加注重人类对模型输出的感知和评价。它通常通过问卷调查、用户反馈等方式收集人类对模型输出的意见和看法，以此来评估模型的性能。主观评测能够考虑到人类对于模型输出的直观感受和需求，从而发现客观评测可能忽略的问题。例如，在文本生成任务中，主观评测可以评估模型生成的文本是否流畅、自然、符合语法规范等。

 七、大模型评测全栈工具链

大模型评测全栈工具链是一个功能强大且全面的工具集，旨在为大模型的性能评估提供一站式解决方案。它建立在OpenCompass核心代码库的基础上，进行了全面的功能升级和拓展。

该工具链的核心功能之一是数据污染检查。在模型训练和评估过程中，数据质量至关重要。数据污染检查功能可以帮助开发者及时发现和解决数据中的错误或异常，从而确保模型的准确性和可靠性。

大模型评测全栈工具链还支持多种技术，如LMDeploy、LLM和Light LLM等。这些技术提供了丰富的模型推理接入能力，使得开发者可以轻松地将模型部署到各种场景中，并进行性能评估。

该工具链还支持中英文双语的主客观测试。这意味着它不仅可以评估模型在中文和英文两种语言上的性能，还可以进行主观和客观的评测，从而提供更全面、更准确的评估结果。

 大模型评测全栈工具链是一个针对大规模模型评测的综合性工具集，旨在提供一站式多模态评测解决方案。该工具链以CompassKit为核心，包含了多个模块化的评测工具，如VLMEvalKit、Code-Evaluator和MixtralKit等，以满足不同场景和需求的评测任务。

VLMEvalKit作为多模块评测工具，支持主流的多模态模型和数据集，帮助社区比较不同多模态模型在各种任务上的性能。它提供了一套标准化的评测方法和指标，使得模型的性能评估更加客观、可比较。

Code-Evaluator是一个专注于代码评测的工具，它提供基于docker的统一编程语言评测环境，确保代码能力评测的稳定性和可复现性。这意味着开发者可以在相同的条件下，对不同代码片段或项目进行性能评测，从而更准确地评估代码的质量和效率。

MixtralKit作为MoE模型入门工具，为初学者提供学习资料、模型架构解析、推理与评测教程等入门工具。它旨在降低模型学习的门槛，帮助新手更快地掌握和理解大规模模型的技术原理和应用方法。

八、OpenCompass评测流水线

整个流程以OpenCompass为核心，旨在通过自动化的方式最大化利用计算资源来完成各种模型评测任务。流程开始于“任意模型”，这表示OpenCompass可以支持多种不同的模型作为输入。

通过“HuggingFace API”进行任务模型的“自由定义”。HuggingFace是一个流行的自然语言处理模型库，提供了丰富的预训练模型和API接口，方便用户进行模型的定义和调用。

之后进入“任务切分及并行化”阶段。OpenCompass会将评测请求切分为多个独立执行的任务，这些任务包括“情感分析”、“文本分类”和“文本生成”等不同的类型。

在并行执行任务的同时，OpenCompass还提供了灵活的输出方案。用户可以选择将结果输出为“开源/Slurm/DLC”格式，这通常用于进一步的分析或集成到其他系统中。

九、OpenCompass评测基准

大模型评测基准是一个全面且多层次的评估体系，旨在衡量和比较不同大模型在各种任务上的性能。这些基准包括T-Eval、MathBench、CriticBench、CreationBench、F-Eval和CIBench等，它们各自针对不同的能力和任务进行评测。

T-Eval是一个针对大模型在特定任务上的性能评估基准，通过一系列测试集来评估模型的表现。

MathBench则是一个专注于数学能力的多层次评测基准，可以衡量模型在解决数学问题、进行数学推理等方面的能力。

CriticBench则是一个多维度的LLM反思能力评估基准，用于评估模型在自我反思、批判性思维等方面的表现。

CreationBench是一个关注大模型在创造性任务上的表现的基准，例如生成新的文本、图像或设计等。

F-Eval则可能是一个专注于分类任务的大模型基础能力评测基准，通过分类任务的数据集来评估模型的性能。

CIBench则可能是一个用于生成新的评估基准的工具，帮助研究人员根据具体需求创建定制化的评测任务。