书生·浦语实战营第三期基础（六）

书生·浦语实战营第三期基础部分（OpenCompass 评测 InternLM-1.8B 实践）

任务要求：

使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。

OpenCompass

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。

配置：这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。
推理与评估：在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率。
可视化：评估完成后，OpenCompass 将结果整理成易读的表格，并将其保存为 CSV 和 TXT 文件。

实践测评结果

python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug

项目参考：

[1https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/OpenCompass