书生浦语大模型实战营第六次课笔记-OpenCompass大模型评测

已于 2024-01-21 17:44:47 修改
阅读量483 收藏 8
点赞数 17
分类专栏： 书生浦语大模型实战营 文章标签： 笔记 人工智能 自然语言处理 深度学习
于 2024-01-21 15:28:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40831032/article/details/135729847
版权

1. 关于评测的三个问题

2. 为什么需要评测

3. 需要评测什么

4. 如何评测大模型

5. 主流大模型评测框架

6. 大模型评测领域的挑战

7. 动手实践

7.1 环境安装

直接git clone会有网络问题，解决办法：

7.2 数据准备

略

7.3 启动评测

跑了好久，终于跑完

睡觉爱数羊
关注
  • 17
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1514
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记
胡争辉
04-25 823
2024年3月开始参加《书生·浦语大模型实战营》 第一节课《书生·浦语大模型全链路开源体系》 第二节课《轻松玩转书生·浦语大模型趣味 Demo》 第三节课《茴香豆：搭建你的 RAG 智能助理》 第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》 第五节课《LMDeploy 量化部署 LLM 实践》 第六节课《Lagent & AgentLego 智能体应用搭建》 这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记
【书生·浦语大模型实战营】第7节笔记：OpenCompass 大模型评测实战
2302_79681906的博客
04-26 625
客观数据集：自建步骤。主观评测：真实对话场景下评估。尝试构建自定义数据集，并提交至OpenCompass官网。支持新数据集 — OpenCompass 0.2.4 文档主观评测指引 — OpenCompass 0.2.4 文档CompassHub自定义数据集：：高质量中文文章，涵盖多个领域。
书生·浦语大模型实战营笔记-第六节 OpenCompass 大模型评测
qq_46212981的博客
01-22 526
介绍大模型评测的基本知识，OpenCompass工具介绍，并实现一个评测的demo提示：以下是本篇文章正文内容，下面案例可供参考主要介绍了模型评测的基础知识，opencompass工具的使用方法，随后实现了internlm7b模型在C-Eval数据集下的效果。
书生·浦语大模型--第六节课笔记&作业--OpenCompass大模型评测
lalala12ll的博客
01-26 423
为什么需要评测？统一的模型评测如何评测？基座模型需要加上额外的提示客观评测：只要回答包括北京就可以认为正确主观评测：创作类问题。人工评测不现实，用模型来评测模型，如GPT4作为裁判。
书生·浦语大模型第二期实战营第七节-OpenCompass 大模型评测实战 笔记和作业
aaaccc444的博客
04-24 549
书生·浦语大模型第二期实战营第六节-OpenCompass 大模型评测实战 笔记和作业
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记
胡争辉
04-25 935
2024年3月开始参加《书生·浦语大模型实战营》 第一节课《书生·浦语大模型全链路开源体系》 第二节课《轻松玩转书生·浦语大模型趣味 Demo》 第三节课《茴香豆：搭建你的 RAG 智能助理》 第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》 第五节课《LMDeploy 量化部署 LLM 实践》 第六节课《Lagent & AgentLego 智能体应用搭建》 这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记
书生浦语第二期第七节课笔记（OpenCompass 大模型评测实战）
Gotwant的博客
04-27 1066
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生·浦语大模型实战营-第一课笔记
2301_79085729的博客
03-28 224
三、重点能力评测方面，InternLM2-chat-20B可以达到Chatgpt3.5的水平。6.应用：LagentAgentLego（支持多种智能体，支持代码解释器等多种工具）多维度数据价值评估、高质量语料驱动的数据富集和有针对性的数据补齐。3.微调：XTuner（支持全参数微调和LoRA等低成本微调）5.评测：OpenCompass（全方位评测，性能可复现）2.预训练：InternLM-Train（并行训练）二、书生浦语2.0（InternLM2）的主要亮点。5.更好的数据理解和分析能力。
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
专属编程笔记
u014397365的博客
06-01 1085
在软件开发中，Utils（或Utilities）目录通常用于存放一些。这些工具类或函数为整个应用程序或多个模块提供便利的功能支持，使得代码更加模块化、易于维护和重用。UtilsUtils目录的设计目的在于避免代码重复，并确保在整个项目中以一致的方式处理共通任务。这样做可以提高开发效率，降低维护成本，并确保代码的整洁性和可读性。
Elixir学习笔记——二进制、字符串和字符列表
chenxupest的专栏
06-04 695
在“基本类型”中，我们学习了一些关于字符串的知识，并使用 is_binary/1 函数进行检查："hello"true在本章中，我们将明确二进制到底是什么、它们与字符串的关系以及 Elixir 中单引号值“like this”的含义。虽然字符串是计算机语言中最常见的数据类型之一，但它们却非常复杂，经常被误解。要理解 Elixir 中的字符串，我们必须了解 Unicode 和字符编码，特别是 UTF-8 编码。
操作系统教材第6版——个人笔记3
最新发布
学徒心
06-05 799
这段笔记主要介绍了处理器相关内容，包括处理器与寄存器（如用户程序可见寄存器、控制与状态寄存器等及相关概念）、指令与处理器模式（机器指令、指令执行过程、特权与非特权指令、处理器模式及其切换等）；还阐述了中断管理，涵盖中断的概念（包括狭义中断、异常与系统异常等）、中断源（如处理器硬件故障、程序性、自愿性、I/O 及外部中断事件等）以及中断系统（包括其构成、中断响应处理与指令执行周期、中断装置及中断响应过程等
pytorch学习笔记5
drarad的博客
06-02 1688
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
国内大语言模型还有哪些？
06-06
国内目前比较知名的大型语言模型主要包括： 1. 百度的ERNIE（Enhanced Representation through Knowledge Integration） 2. 阿里巴巴的ALBERT（A Lite BERT） 3. 华为的GPT（Generative Pre-trained Transformer） ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值