大模型学习与实践笔记（十）

一、模型测评的意义

二、如何对模型进行测评

三、OpenCompass 评测流水线设计

四、大模型评测带来的挑战

五、OpenCompass 评测示例

1.多模态

优势：

1.基于感知与推理，将评估维度逐级细分

2.约3000 道单选题，覆盖目标检测，文本识别，动作识别，图像理解，关系推理等20个细粒度评估维度

2.法律

优势：

1.三级认知维度（法律知识理解，法律知识记忆，法律知识应用）

2.20个法律任务，10000到测评问题，覆盖多领域NLP 任务

3.医学

优势：

1.多来源基准评估维度

2.基于医学知识问答，医学语言生成，复杂医学推理，医学语言理解，医疗安全与伦理，9个公开数据集，11个自建数据集