书生浦语项目首页:https://github.com/InternLM/InternLM
训练营课程首页:https://github.com/internLM/tutorial?tab=readme-ov-file
b站视频首页:OpenMMLab的个人空间-OpenMMLab个人主页-哔哩哔哩视频
课程简介(个人认知):介绍书生浦语开源平台体系,教会使用平台
本节课手册:https://github.com/InternLM/tutorial/blob/main/opencompass/opencompass_tutorial.md
一、模型评测基础知识
1.1 模型评测的重要性
为什么需要评测?场景太多!
如果不做统一的模型评测:
a. 普通用户没法知道最好的模型是哪个,排除误导
b. 开发者没法知道模型边界,也就没法针对性迭代提升
c. 不同场景需要不同的评测方式
1.2 需要评测什么
场景、方面、哪些能力维度
1.3 怎么评测大语言模型
基座模型、对话模型两类分别不同评测方式
客观评测(计算客观准确率)
主观评测(人类评价、模型评价)两类评测方式
Prompt enginering判断模型鲁棒性、敏感性。
1.4 主流评测框架
二、OpenCompass能力框架
2.1 优势
全面、系统,6大维度、100+评测数据集,50万+评测题目
Meta官方推荐,唯一国内开发的大模型评测体系
2.2 架构
2.3 模型支持
2.4 评测流水线设计
2.5 大模型能力对比,分维度榜单
2.6 OpenCompass前沿探索
多模态、法律、医疗
2.7 大模型评测领域的挑战
三、代码实战
max_out_len 等参数,都以alignbencht中定义的值为准。
SizePartition:数据集分片(size_num),用于多卡共同推理
Runner:在线运行、本地运行
视频讲解了所有参数的含义和使用,大部分是huggingface涉及到的参数。