实战营学习笔记7

OpenCompass ：是骡子是马，拉出来溜溜 开源可复现：提供一个公平、公开、可复现的评测方案，确保评测的透明度和公正性。
全面的能力维度：设计了五大能力维度，涵盖70多个数据集和约40万题，全面评估模型的各方面能力。
丰富的模型支持：支持20多个HuggingFace及API模型，具有广泛的适用性。
分布式高效评测：通过简单的命令实现任务分割和分布式评测，大幅提高评测效率。
多样化评测范式：支持零样本、小样本及思维链评测，结合不同的提示词模板，激发模型的最大性能。
灵活化拓展：系统设计允许用户轻松添加新模型、数据集或自定义任务分割策略。
评测对象主要包括基座模型和对话模型，前者通过自监督学习训练，后者则在基座模型基础上进行指令微调和人类偏好对齐。

工具架构分为模型层、能力层、方法层和工具层，其中能力层从通用能力和特色能力两个方面进行评测设计，方法层结合客观评测和主观评测两种方式。

设计思路基于通用人工智能的角度，结合学术和工业界的进展和实践，提出面向实际应用的模型能力评价体系。

评测方法结合了客观评测和主观评测，客观评测通过定量指标比较模型输出与标准答案的差异，主观评测则依赖于人的主观感受，通过受试者的评分来评估模型的真实能力。