书生模型实战L1---OpenCompass 评测

书生模型实战系列文章目录

第一章 入门岛L0（Linux）
第二章 入门岛L0（python）
第三章 入门岛L0（Git）
第四章 基础岛L1（书生全链路开源介绍）
第五章 基础岛L1（Demo）
第六章 基础岛L1（Prompt）
第七章 基础岛L1（RAG）
第八章 基础岛L1（XTuner 微调）
提示：以上内容可以看往期文章
第九章：基础岛L1（OpenCompass 评测）

---

---

作业

基础作业

进阶作业

提交作业

基础作业提交

进阶作业提交

暂未完成

一、OpenCompass 是什么？

https://rank.opencompass.org.cn/leaderboard-multimodal/?m=REALTIME

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。其主要特点如下：

开源可复现：提供公平、公开、可复现的大模型评测方案

全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力 丰富的模型支持：已支持 20+
HuggingFace 及 API 模型 分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测
多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能
灵活化拓展：想增加新模型或数据集？想要自定义更高级的任务分割策略，甚至接入新的集群管理系统？OpenCompass 的一切均可轻松扩展