（第7节）OpenCompass 大模型评测实战

最新推荐文章于 2024-07-22 01:13:40 发布
最新推荐文章于 2024-07-22 01:13:40 发布
阅读量176 收藏
点赞数 1
分类专栏： 书生·浦语大模型实战营（第二期初夏） 文章标签： 深度学习 开源 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/H_1008/article/details/139609802
版权

视频学习笔记

为什么要评测模型？
在这里插入图片描述
目前大模型评测的挑战：
确实现在大模型使用的数据都很多，避免测试集的污染确实蛮重要的。
在这里插入图片描述
如何评测
在这里插入图片描述
在这里插入图片描述
人类评价代价高。
模型评价：用目前比较好的模型（如ChatGPT4）评价A,B的效果。
在这里插入图片描述
长文本评测，大海捞针：把一个不相关的信息插在长文本里，在进行提问看模型能否回答。
根据上述问题，OpenCompass支持的功能：
在这里插入图片描述

作业


运行的好慢好慢。。。
在这里插入图片描述
为啥我这要6448秒，累了。
在这里插入图片描述
好啦测评结果如下：
在这里插入图片描述

Nano3
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 799
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
Llama-2首个全方位评测国内外开源模型大比拼.docx
08-23
Llama-2 首个全方位评测国内外开源模型大比拼 在本文中，我们将对 Llama-2 进行全方位的评测，涵盖模型架构、预训练语料、监督微调、安全训练技术等方面的改进，并对其在多个评测集上的表现进行了详细的分析。 一...
第 7 节OpenCompass 大模型评测实战
flairJiang的博客
06-18 401
客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass 采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。同时，由于大语言模型输出自由度较高，在评测阶段，我们需要对其输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。针对如模型安全和模型语言能力的评测，以人的主观感受为主的评测更能体现模型的真实能力，并更符合大模型的实际使用场景。
[书生·浦语大模型实战营]——第七节 OpenCompass 大模型评测实战
qq_41776136的博客
06-05 1012
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测多样化评测范式：支持零样本小样本及思维链评测。
第7节 OpenCompass 大模型评测实战 作业
u012173639的博客
04-25 220
书生·浦语大模型实战营(第二期) 第 7 节作业提交
第七节：OpenCompass 大模型评测实战
2301_76609297的博客
05-03 1670
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系“司南”(OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现提供公平、公开、可复现的大模型评测方案。全面的能力维度五大维度设计，提供 70+ 个数据集约 40 万题的模型评测方案，全面评估模型能力。丰富的模型支持已支持 20+ HuggingFace 及 API 模型。分布式高效评测一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。多样化评测范式。
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型
02-07
OpenCompass是一个专为法学硕士评估设计的平台，它整合了多种先进的自然语言处理模型，如InternLM2、GPT-4、LLaMa2、Qwen以及GLM和Claude等。这些模型代表了当前AI技术在理解和生成人类语言方面的最新成就，使得...
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型(InternLM2,GPT-4,LLaMa2
02-06
OpenCompass是一个专为法学硕士设计的评估平台，其核心特性在于它能够支持广泛的机器学习和人工智能模型，这些模型包括但不限于InternLM2、GPT-4、LLaMa2、Qwen、GLM以及Claude等。这个平台的创建旨在通过先进的技术...
Python_OpenCompass是一个LLM评估平台，支持Llama3 Mistral InternLM2GPT4.zip
05-24
Python_OpenCompass是一个专为大型语言模型（LLM）评估设计的开源平台，它具有对Llama3、Mistral、InternLM以及GPT-4等先进模型的支持。这个平台的目的是提供一个高效且灵活的方式来测试和分析这些模型的性能，以...
Python代码，强化学习，深度学习
2401_85886655的博客
07-19 797
python代码编写，Python算法设计，强化学习优化，改进模型，训练模型，测试模型，可视化绘制，代编运行结果，交互多模型改进，预测模型，算法修改，Python包管理、数据分析、数据可视化、代码报错等等。Matlab代编，Python代编，神经网络，计算机视觉。问卷分析|数据查找！医学统计，回归分析，空间计量，神经网络。实证分析，事件分析，统计建模，面板模型。相关分析|生存分析，金融计量，各类算法。以上均可，个人保证高质量，保证效率。电子通信机器学习图像处理等。
【深度学习】PyTorch框架(5)：Transformer和多注意力机制
MUKAMO的博客
07-18 847
本文深入探讨了多头注意力层，它通过缩放点积找到输入间相关性，是Transformer架构核心。Transformer广泛应用于多领域，不仅限于NLP。其置换等变性质拓展了应用场景。然而，理解其潜在问题如学习率预热解决初期梯度问题同样关键。对Transformer架构研究感兴趣的读者，建议查阅文中提及的博客以深入了解。Transformer作为强大架构，其探索与应用前景广阔。
昇思25天学习打卡营第21天|RNN实现情感分类
人工智能视觉分析算法学习实践和经验分享。
07-21 623
Mindspore框架循环神经网络RNN模型实现情感分类|（一）数据集准备Mindspore框架循环神经网络RNN模型实现情感分类|（二）RNN模型Mindspore框架循环神经网络RNN模型实现情感分类|（三）模型训练与推理tips:安装依赖库。
【Transformer时序预测】基于Transformer-LSTM实现锂电池寿命预测附matlab代码
算法如诗的博客
07-21 392
【Transformer时序预测】基于Transformer-LSTM实现锂电池寿命预测附matlab代码
从零开始：构建基于深度学习的实时跌倒检测系统（UI界面+YOLO代码+数据集）
最新发布
a871923942的博客
07-22 703
系统主要由前端UI、后端服务器和YOLO模型组成。用户通过UI上传视频，服务器调用YOLO模型进行检测，并将结果返回给用户。| 前端UI | <----> | 后端API | <----> | YOLO检测模型 |YOLO（You Only Look Once）是一种高效的实时目标检测模型。YOLOv5、YOLOv6、YOLOv7、YOLOv8均为其不同版本，提供不同的性能和速度。
昇思25天学习打卡营第20天 | LSTM+CRF序列标注
嫦娥妹妹等等我的博客
07-21 326
在自然语言处理（NLP）的领域中，序列标注是一个基础且关键的任务，涉及到从文本数据中提取有用信息，如命名实体识别（NER）、词性标注（POS）等。本次学习重点是探索如何结合长短时记忆网络（LSTM）和条件随机场（CRF）来执行序列标注任务，尤其是在命名实体识别上的应用。
水表数字识别3：Pytorch CRNN实现水表数字识别(含训练代码和数据集)
AI吃大瓜的博客
07-21 1163
本项目将实现水表数字识别，整套方案采用二阶段方法实现，即首先使用文本(数字)检测模型DBNet定位水表数字的区域，然后进行校正并裁剪水表数字区域，再使用CRNN模型对水表数字的区域进行文本(数字)识别。整套项目分为：数据集说明，DBNet文本(数字)检测模型训练、CRNN文本(数字)识别模型训练，以及水表数字识别边缘侧部署C++/Android等多个章节，本篇是项目《​​​​水表数字识别》系列文章之《Pytorch CRNN实现水表数字识别。
【独家首发】Matlab实现天鹰优化算法AO优化Transformer-LSTM实现负荷数据回归预测
算法如诗的博客
07-21 457
【独家首发】Matlab实现天鹰优化算法AO优化Transformer-LSTM实现负荷数据回归预测
实时吸烟检测系统：基于深度学习与YOLO模型的完整实现
a871923942的博客
07-19 715
该系统包含一个用户界面，利用YOLO（You Only Look Once）v8/v7/v6/v5模型进行吸烟检测，并提供了完整的实现步骤和代码。本文介绍了一个基于深度学习的吸烟检测系统，详细描述了从数据收集和标注、模型训练、系统实现到用户界面设计的全过程。通过结合YOLO模型和PyQt5，我们可以实现一个实时、精确的吸烟检测系统，为公共场所的吸烟行为管理提供有力支持。为了训练一个高精度的吸烟检测模型，我们需要一个包含大量吸烟和非吸烟图片的数据集。利用训练好的模型进行吸烟检测，并实现视频流的实时检测。
《昇思25天学习打卡营第23天|RNN实现情感分类》
m0_58790800的博客
07-21 967
递归神经网络（RNN）是一种用于处理序列数据的神经网络，它通过隐藏状态（hidden state）将前一个时间步的信息传递到下一个时间步，从而捕捉序列中的依赖关系。尽管RNN在理论上可以处理任意长度的序列，但在实践中往往会遇到梯度消失和梯度爆炸问题，特别是在处理长序列时。RNN(循环神经网络)循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的神经网络。
OpenCompass
09-25
OpenCompass是一个开源的自然语言处理(NLP)工具包。安装OpenCompass的步骤如下： 1. 创建一个新的虚拟环境并安装必要的软件包。使用以下命令创建新环境并激活它： ``` conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y conda activate opencompass ``` 2. 克隆OpenCompass的GitHub仓库并切换到项目目录： ``` git clone https://github.com/InternLM/opencompass opencompass cd opencompass ``` 3. 使用pip安装OpenCompass： ``` pip install -e . ``` 4. 下载数据集，并将其解压缩到`data/`目录中： ``` wget https://github.com/InternLM/opencompass/releases/download/0.1.0/OpenCompassData.zip unzip OpenCompassData.zip ``` 关于OpenCompass的性能榜单和参与评测的信息，请参考OpenCompass的Leaderboard页面和相关文档。如果您希望将自己的模型或API加入评测，请将模型仓库地址或标准API接口发送至opencompass@pjlab.org.cn。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值