书生·浦语大模型 笔记+作业 OpenCompass 大模型评测

最新推荐文章于 2024-10-31 10:59:26 发布
最新推荐文章于 2024-10-31 10:59:26 发布
阅读量415 收藏 9
点赞数 7
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kuangkaiming/article/details/135840313
版权

书生·浦语大模型 笔记+作业 OpenCompass 大模型评测

关于评测的三个问题

为什么要评测？

在这里插入图片描述

评测的内容

传统的NLP任务评测

在这里插入图片描述

大模型评测方向

在这里插入图片描述

怎么去评测

针对基座模型，需要加上提示词；针对对话模型，直接进行提问
在这里插入图片描述

客观评测

在这里插入图片描述

主观评测

在这里插入图片描述

国内外评测数据集

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
#大模型评测领域的挑战
在这里插入图片描述

作业

在这里插入图片描述
用ceval测试internlm2 chat 7b 模型（先评测第一个类别：计算机网络，其他的后续补上）
在这里插入图片描述

Scorpion_free
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1783
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【 书生·浦语大模型实战营】学习笔记（七）：大模型评测实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 1133
本篇笔记内容主要为【 书生·浦语大模型实战营】学习笔记（七）：大模型评测实战 ，主要对OpenCompass 大模型评测部分详细介绍，欢迎大家交流学习！
书生·浦语大模型（七）OpenCompass ：大模型评测实战
ww1132的博客
04-23 779
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
大模型学习之书生·浦语大模型笔记汇总
uncle_ll的博客
01-30 748
笔记汇总
书生浦语大模型-笔记七（OpenCompass大模型评测）
weixin_40574825的博客
04-25 273
客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass 采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。模型层：大模型评测所涉及的主要模型种类，OpenCompass 以基座模型和对话模型作为重点评测对象。
书生·浦语大模型之OpenCompass评测框架
2301_80313103的博客
08-12 984
书生·浦语大模型之OpenCompass评测篇
书生浦语第七课-OpenCompass 大模型评测实战 笔记-作业
mashagua的博客
04-25 273
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。注意查看一下有没有 python -c “import opencompass;print(‘version =’,opencompass.列出所有跟 internlm 及 ceval数据集 相关的配置，以表格形式展示。解压之后的文件目录是这样的。
书生浦语大模型笔记
China_zza的博客
08-11 273
在各种能力评测中的表现，包括语言知识、推理、数学、代码等方面，同时还介绍了模型的应用和数据分析功能。20B 模型在推理数学代码等方面的性能优于 GPT-3.5 和 Germini Pro，模型在综合性能方面达到同量级的开源模型领先水平，模型内生的计算能力和数据分析功能能够处理复杂的任务和数据分析。提供不同尺寸和类型的模型，支持多语言和多模态任务。
OpenCompass司南大模型评测体系-书生·浦语大模型第二期实战营第七课笔记&作业
2301_76739570的博客
04-20 1038
大模型评测，OpenCompass，司南，大模型榜单，评测
【 书生·浦语大模型实战营】作业（七）：大模型实战评测
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 525
导读：本篇笔记内容主要为 【书生·浦语大模型实战营】作业（七）：大模型实战评测的作业 主要对OpenCompass大模型实战评测部分及流程详细介绍，欢迎大家交流学习！
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1524
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 941
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
CSS常用标签笔记
qq_14822691的博客
10-28 673
cursor:url(图片地址), 属性值;
C++学习笔记----9、发现继承的技巧（六）---- 有趣且令人迷惑的继承问题（2）
weixin_71738303的博客
10-27 980
Derived类可以定义与在基类中继承的构造函数同样的参数列表的构造函数。然而，因为Derived类用单独的float类型的参数定义它自己的构造函数，使用单独的float类型的参数的基类中继承的构造函数就被隐藏了。例如，如下的Derived类尝试继承Based1与Base2的所有构造函数，对于基于float的构造函数就产生了不确定性。这个技术使用了using声明来显式包含了继承类中的成员函数的基类定义。只用提供的Base构造函数就可以构建一个Base对象，或者是缺省的构造函数，或者是接受int的构造函数。
【Kotlin】 基础语法笔记
最新发布
xuanyulevel6的博客
10-31 729
kotlin基础语法学习笔记
地磁传感器（学习笔记下）
Gaorui678的博客
10-26 482
读到后的值，最终传入t_sQMC5883L定义的结构体,注意一下这里面的mag_reg数据变量，定义的时候是16位的3个元素，在读寄存器的时候，强制为8位指针变量，读6个字节。然后我们再写一个计算方位角的函数，使用磁力值计算方位角，最简单的方式，只需要一个公式。咱们接着学习笔记上来学习哈，首先，我们编写读取方位角程序，配置好传感器以后，我们就可以读取磁力值了，我们先定义一个结构体类型，用来存放磁力值以及方位角值。在主函数中，qmc5883l初始化以后，每间隔1秒钟计算1次方位角值，然后通过串口发送到终端。
星河飞雪网络安全学习笔记-shodan使用3
weixin_52567283的博客
10-29 362
shodan使用3
论文阅读笔记：Automated Creation of Digital Cousins for Robust Policy Learning
HollowKnightz的博客
10-28 868
论文阅读笔记：Automated Creation of Digital Cousins for Robust Policy Learning
《使用Gin框架构建分布式应用》阅读笔记：p234-p250
codists的博客
10-29 993
书里使用的是RabbitMQ(https://www.rabbitmq.com/)，这里补充一点说明：a、访问管理页面从3.8版本开始，管理插件(rabbitmq_management)默认不器用。需要先启用才能使用访问管理页面。b、默认帐号、密码如果启动容器的时候未设置密码，账号、密码默认是guest、guest。c、各端口作用client端通连接端口：5672页面管理访问端口： 15672服务间通信端口：25672d.管理页面Overview > Totals 缺少图exit。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值