项目地址：GitHub - InternLM/tutoriald
第六节课视频地址：OpenCompass 大模型评测_哔哩哔哩_bilibili
为什么需要评测？
了解不同模型在各类应用场景下的表现，并指导模型进行优化提升。
需要评测什么？
文本生成，知识，推理，安全等等
怎样评测？
根据模型分类：基座模型，对话模型
根据评测方式：客观评测、主观评测
客观评测：做选择题
主观评测：由人工或者表现优异的模型来评价
提示词工程评测：同一个问题换不同的问法，看模型的回答是否一致
主流大模型评测框架
OpenCompass 能力框架
OpenCompass平台架构
分为模型层、能力层、方法层和工具曾
OpenCompass 评测流水线设计
支持开源模型、自定义模型以及超过100+数据集
大模型评测领域的挑战
· 数据污染：测试集混入训练集
· 缺少中文评测集
· 人工测试成本高昂
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
