第三期书生大模型实战营——OpenCompass 评测 InternLM-1.8B 实践

基础任务

• 使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。

配置：这是评估工作的起点，需要设定评估的模型、数据集、评估策略和计算后端，以及定义结果展示的方式。

推理与评估：OpenCompass将对模型和数据集进行并行推理和评估。推理阶段生成模型输出，评估阶段比较输出与标准答案。

可视化：评估完成后，结果将以表格形式呈现，并保存为CSV和TXT文件。

数据准备

• 解压评测数据集到指定目录。
• 确保数据集路径与OpenCompass配置一致。

配置文件和模型列表

• 使用list_configs.py脚本列出与InternLM和C-Eval相关的配置文件。
• 根据需要选择合适的模型配置。

启动评测

• 编辑模型配置文件，指定模型路径、分词器路径等参数。
• 使用命令行或配置文件启动评测过程，可以首先使用--debug模式检查问题。
• 评测完成后，结果将在控制台输出并保存到指定目录。

• 

• 评测结果

• 评测完成后，控制台将显示每个数据集的版本、指标、模式和模型性能。
• 结果以表格形式展示，包括准确率等关键指标。
•