OpenCompass 评测 InternLM-1.8B 实践

最新推荐文章于 2024-08-21 16:56:45 发布
最新推荐文章于 2024-08-21 16:56:45 发布
阅读量130 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qpj297/article/details/140892617
版权

直接使用之前xtuner的环境

克隆OpenCompass 

安装依赖

pip install -r requirements.txt

解压测评数据

查找mmlu测评数据集

开始测评

测评完成

奇葩菌2333
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Opencompass评测 InternLM-1.8B 实践
weixin_63458020的博客
08-03 180
【代码】Opencompass评测 InternLM-1.8B 实践。
书生浦语之：OpenCompass 评测 InternLM-1.8B 实践
XUTINGZHANGLOVE的专栏
07-27 787
OpenCompass2.0，又称“司南”，是由上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系。其主要是用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生大模型实战营--L1关卡-OpenCompass 评测 InternLM-1.8B 实践
cgq081616的专栏
07-27 1035
3、再里面的 opencompass/configs/eval_internlm_chat_lmdeploy_apiserver.py增加1.8b调用地址。一、使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能。1、使用lmdeploy部署 internlm2-chat-1.8b模型。2、根据OpenCompass官网教程安装并下载数据集。注意：评测mmlu的时候注释掉其他数据集。4、运行评测脚本---使用API调用。
第三期书生大模型实战营之OpenCompass 评测 InternLM-1.8B 实践
T_susan的博客
08-04 257
使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能，记录复现过程并截图。
基础岛 - OpenCompass 评测 InternLM-1.8B 实践
纸上得来终觉浅 绝知此事要躬行
08-09 524
遗憾的是，装完了才发现有opencompass/requirements/runtime.txt文件存在，直接就能依赖包安装好。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。查看ceval的评测数据，每个文件夹内都是csv文件，涉及不同领域，共有55个csv文件。最终结果会把每个csv（领域）的评测结果都打印出来，还有6个平均值。程序启动后，会依次将所有55个csv都走一遍推理流程。漫长的执行，用了1581.46秒。
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型(InternLM2,GPT-4,LLaMa2
02-06
OpenCompass是一个专为法学硕士设计的评估平台，其核心特性在于它能够支持广泛的机器学习和人工智能模型，这些模型包括但不限于InternLM2、GPT-4、LLaMa2、Qwen、GLM以及Claude等。这个平台的创建旨在通过先进的技术...
Python_OpenCompass是一个LLM评估平台，支持Llama3 Mistral InternLM2GPT4.zip
05-24
Python_OpenCompass是一个专为大型语言模型（LLM）评估设计的开源平台，它具有对Llama3、Mistral、InternLM以及GPT-4等先进模型的支持。这个平台的目的是提供一个高效且灵活的方式来测试和分析这些模型的性能，以...
Llama-2首个全方位评测国内外开源模型大比拼.docx
08-23
我们使用 OpenCompass 对 Llama-2 发布的各个模型在 40 多个评测集上进行了全方位的评测，结果可以总结为以下的雷达图： 1.相比前代性能大增，仍难媲美 ChatGPT Llama-2 在多个评测集上的表现优于 Llama-1，但仍然...
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型
02-07
OpenCompass是一个专为法学硕士评估设计的平台，它整合了多种先进的自然语言处理模型，如InternLM2、GPT-4、LLaMa2、Qwen以及GLM和Claude等。这些模型代表了当前AI技术在理解和生成人类语言方面的最新成就，使得...
国联证券-计算机行业专题研究_AI大模型成果不断涌现_AGI或将到来.pdf
07-01
阿里云的通义千问2.5版本在OpenCompass基准测试中的得分与GPT-4 Turbo相当，这标志着中国企业在AI技术研发方面取得了显著成就。这不仅有助于提升国内AI产品的竞争力，也为全球用户提供了更多选择。 ##### 2.4 腾讯...
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 530
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
24 优化算法
kaszxc的博客
08-19 427
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
吴恩达机器学习-C2W2-Relu(线性整流函数)
weixin_50946965的博客
08-18 1303
吴恩达机器学习实验室中文翻译-C2W2-Relu
yolov8 出现loss 为nan
最新发布
zhaoluruoyan89的博客
08-21 208
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 802
Python星载气溶胶数据处理与反演分析
AI秘境-墨小黑奇遇记 (五)：数值微分的挑战与心灵的涟漪
蒾途尐書瞳的专栏
08-18 801
清晨的阳光透过宿舍的窗帘洒在墨小黑的脸上，他缓缓睁开眼睛，思绪还停留在昨晚的讨论中。与此同时，实验室的另一头，小冬正在忙着他的实验，他性格沉稳，总是喜欢把事情做得井井有条。于是他回复道：“好的，我马上出来。”艺术家撇了撇嘴，脸上的笑容却依旧，“不过我说真的，小黑，你也该放松一下了，这样搞下去可不好。墨小黑终于停下了手中的工作，回过头来看着艺术家，“抱歉，我现在没时间玩游戏，得先搞定这些数值微分。墨小黑将他在实验室的困境一一讲述，关于数值微分的复杂性、偏导数的难点，还有那些似乎无解的代码问题。
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer）
bayesian1的博客
08-20 1012
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer），通过构建T5模型，采用中文重写任务的数据集进行训练，模型效果非常好，貌似还涌现出了一定的创造力。
图卷积神经网络算法
2401_85886655的博客
08-21 448
元学习，自监督学，transformer，lstm，cnn，bert，GAN，强化学习 图神经网络推荐算法。图神经网络 图卷积神经网络 GNN GCN 算法 咨询 图卷积神经网络（GCN） python D码，应用于节点分类。元学习，自监督学，transformer，lstm，cnn，bert，GAN，交通预测 强化学习 图神经网络推荐算法。lightGCN NGCF 创新点1-3 movielen-1m数据集 指标：recall、ndcg。具体价格根据难易程度定。
OpenCompass
09-25
OpenCompass是一个开源的自然语言处理(NLP)工具包。安装OpenCompass的步骤如下： 1. 创建一个新的虚拟环境并安装必要的软件包。使用以下命令创建新环境并激活它： ``` conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y conda activate opencompass ``` 2. 克隆OpenCompass的GitHub仓库并切换到项目目录： ``` git clone https://github.com/InternLM/opencompass opencompass cd opencompass ``` 3. 使用pip安装OpenCompass： ``` pip install -e . ``` 4. 下载数据集，并将其解压缩到`data/`目录中： ``` wget https://github.com/InternLM/opencompass/releases/download/0.1.0/OpenCompassData.zip unzip OpenCompassData.zip ``` 关于OpenCompass的性能榜单和参与评测的信息，请参考OpenCompass的Leaderboard页面和相关文档。如果您希望将自己的模型或API加入评测，请将模型仓库地址或标准API接口发送至opencompass@pjlab.org.cn。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值