OpenCompass 大模型评测实战

最新推荐文章于 2024-09-16 16:34:53 发布
最新推荐文章于 2024-09-16 16:34:53 发布
阅读量254 收藏 1
点赞数 2
文章标签： 深度学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42907812/article/details/138077492
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评测方式：

客观评测：针对具有标准答案的客观问题，通过使用定量指标比较模型的输出与标准答案的差异，并根据结果衡量模型的性能。
主观评测（人类评价价/模型评测）：借助受试者的主观判断对具有对话能力的大语言模型进行能力评测。
在这里插入图片描述
在这里插入图片描述任务切分并行计算
在这里插入图片描述

主要逻辑：
在这里插入图片描述
partitioners对数据、模型进行切片划分成单个任务tasks,每个task在runners进行执行，具体执行的逻辑体现在openicl，最后在summarlzers进行总结评分。
作业：

在这里插入图片描述

逐渐会飞
关注
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 869
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
【书生·浦语大模型实战营06】《OpenCompass 大模型评测》学习笔记
墨门
01-22 541
李华每周给2个不同的朋友写一封3页的信， 一周写两次。他一年总共写了多少页的信。李华每周给2个不同的朋友写一封3页的信，一 周写两次。他一年总共写了多少页的信？李华每周给2个不同的朋友写一封3页的信，一周写两次。他一年总共写了多少页的信？李华每周给2个不同的朋友写一封3页的信，一周写两次。他一年总共写了多少页的信?李华每周给2个不同的朋友写一封3页的信，一周写两次。他一年总共写了多少页的信？
七、OpenCompass 大模型评测实战
厚积而薄发
04-28 925
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
OpenCompass 大模型评测实战——作业
YYYYbhjbhkv_的博客
04-24 728
建议这边直接用 这个命令， 我使用的时候是运行成功了，但后面依然出现了对应包没有的问题。 这边就出现了 和 这两个包没有的情况，那就 pip install 装上。 实在受不了了，运行了几次，每次都缺包，果断 。再次运行，没有出现缺包的情况，不过也是出现了和教程上说过的问题。先按照教程的做法设置 。但运行发现还是报同样的错误，那就换第二种方法 。这次运行以后没有再出现 的问题了，不过出现了新的问题。出现这个问题是因为缺少 这个包，再 ，然后再次运行。这次终于成功，安心等待结果。想截出来完整的图片，
7-OpenCompass 大模型评测实战
wengad的博客
06-11 680
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
OpenCompass 大模型评测实战——笔记
YYYYbhjbhkv_的博客
04-24 1215
海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。
OpenCompass大模型评测实战 第七课
weixin_62638966的博客
06-16 926
1、OpenCompass 亮点开源与复现：提供公平、公开、可复现的评测方案。全面的能力维度：五大维度设计，提供70+个数据集约40万题的模型评测方案。模型支持：已支持20+ HuggingFace 及 API 模型。分布式高效评测：一行命令实现任务分割和分布式评测，快速完成模型全量评测。多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板。灵活化拓展：轻松增加新模型、数据集或自定义高级任务分割策略。2、CompassKit：大模型评测全栈工具链。
OpenCompass 大模型评测实战（作业）
2301_80703617的博客
04-25 296
构造新的数据集需要修改至少三个文件，一是opencompass/configs/datasets下面，新建相应的脚本；二是opencompass/opencompass/datasets去构建一个新类，并实现一个load函数，负责把新的数据集以csv/json等格式load进来，并返回DatasetDict形式，传出之后，会在刚才configs里面新建的脚本中拼起来，最终进行append；
Opencompass大模型评测实战
weixin_73902638的博客
05-11 678
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生·浦语大模型实战营之 OpenCompass ：是骡子是马，拉出来溜溜
段智华的博客
04-22 84
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
丨汀、的博客
04-14 1426
NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1414
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 940
书生浦语LLM大模型教程
RNN股票预测(Pytorch版)
最新发布
qq_52237775的博客
09-16 303
记录RNN实战
《深度学习》深度学习 框架、流程解析、动态展示及推导
wx_AHao1004Y的博客
09-12 1403
深度学习是一种基于人工神经网络架构进行机器学习的技术方法。它模拟人类大脑的神经网络结构和工作原理，通过多层次的神经元网络，对大量的输入数据进行处理和分析，从而实现对数据的自动学习和抽象表示，进而实现对复杂问题的解决和预测。 深度学习的核心是深度神经网络，它由多个隐藏层组成，每个隐藏层包含多个神经元节点。每个神经元节点都与上一层和下一层的神经元节点相连，通过对这些节点之间的连接权重进行调整，使得网络能够对输入数据进行有效的学习和表示。
【深度学习|PyTorch】基于 PyTorch 搭建 U-Net 深度学习语义分割模型——附代码及其解释！
985小水博的摸鱼日常
09-14 529
【深度学习|PyTorch】UNet学习笔记！
【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程
yangyu0515的博客
09-13 1402
【深度学习】【OnnxRuntime】【python】模型转化、环境搭建以及模型部署的详细教程
秃姐学AI系列之：实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
m0_62415132的博客
09-11 860
在这里，我们选择预训练的ResNet-34模型，我们只需重复使用此模型的输出层（即提取的特征）的输入。然后，我们可以用一个可以训练的小型自定义输出网络替换原始输出层，例如堆叠两个完全连接的图层。因此，我们可以使用 微调中讨论的方法在完整ImageNet数据集上选择预训练的模型，然后使用该模型提取图像特征，以便将其输入到定制的小规模输出网络中。在计算损失之前，我们首先获取预训练模型的输出层的输入，即提取的特征。的处理一样，即从原始训练集中拆分验证集，然后将图像移动到按标签分组的子文件夹中。
OpenCompass
09-25
OpenCompass是一个开源的自然语言处理(NLP)工具包。安装OpenCompass的步骤如下： 1. 创建一个新的虚拟环境并...如果您希望将自己的模型或API加入评测，请将模型仓库地址或标准API接口发送至opencompass@pjlab.org.cn。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值