书生·浦语大模型实战营-学习笔记6

OpenCompass大模型测评

1. 关于评测

1.1 为什么要评测？

1.2 需要评测什么？

1.3 如何评测？

1.3.1 客观评测

可以基于正则表达式的方式，提取模型的回答，只要在模型的回答中提取到北京这个关键词，就认为模型在客观上答对了这道题。就可以去统计所有题目在客观上的准确率，这样是客观评测的方式。

1.3.2 主观评测

1.3.3 提示词工程评测

另一种对模型进行评测的方式：可以使用Prompt Enginnering方法测试模型对Prompt的敏感性。

同一个问题有多种问法，有多种Prompt的表达方式，预期模型在这5种问题下的回答都是一样的，都能答对。如果只是简单的换了一种Prompt的问法，模型就答错了的话，说明模型的鲁棒性很差。

2. 介绍OpenCompass工具

3. 实战演示

https://github.com/InternLM/tutorial/blob/main/opencompass/opencompass_tutorial.md