OpenCompass提供设计一套全面、高效、可拓展的大模型评测方案,对模型能力、性能、安全性等进行全方位的评估。OpenCompass提供分布式自动化的评测系统,支持对(语言/多模态)大模型开展全面系统的能力评估。
本节参考文档为:OpenCompass 大模型评测
视频教程为:OpenCompass 大模型评测
OpenCompass介绍
LLM以及AIGC有非常多的场景和各种各样的模型对于这些不同的模型需要建立—个统一的评测方式进行评测。模型评测会涉及以下三个问题:
目前常见的任务场景:text-to-text,text-to-task,text-to-image,text-to-video,text-to-3D
对不同的用户群体都有评测的需求,评测作用:明智模型边界,指导模型提升
评测什么,不同任务评测指标不同,总结如下图:
两类不同的模型:基座模型prompt+额外的instruct,对话模型:直接采用跟人类对话的方式来进行评测
评测方式:客观评测和主观评测
客观评测:基于row base的评测方式,问答题,多选题,判断题,分类题
主观评测:依靠人工来评测不现实的,依靠自动化GPT-4的方式用模型来评价模型
也可以通过prominent engineering的方式去测试,如果多种形式的prompt都可以答对则说明鲁棒性较好
主流大模型评测框架
OpenCompass唯—一个国内开发的大模型的评测体系
OpenCompass开源评测平台架构
OpenCompass丰富的模型支持
OpenCompass评测流水线设计:方便个人用户模型的开发评测
大模型能力对比
OpenCompass在多模态、法律领域、医疗领域等方面的前沿探索
大模型评测领域的挑战: