Opencompass评测 InternLM-1.8B 实践

最新推荐文章于 2024-08-09 18:11:38 发布

Hers594

最新推荐文章于 2024-08-09 18:11:38 发布

阅读量161

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/weixin_63458020/article/details/140897657

版权

一.配置环境


studio-conda -o internlm-base -t opencompass
source activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

二.查看支持的数据集和模型

三.解压评测数据集

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

四.启动OpenCompass进行评测

遇到错误mkl-service + Intel(R) MKL MKL_THREADING_LAYER=INTEL is incompatible with libgomp.so.1 ... 解决方案：


export MKL_THREADING_LAYER=GNU

顺利跑通

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Hers594

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Opencompass评测 InternLM-1.8B 实践

【代码】Opencompass评测 InternLM-1.8B 实践。
复制链接

扫一扫

Llama-2首个全方位评测国内外开源模型大比拼.docx

08-23

我们使用 OpenCompass 对 Llama-2 发布的各个模型在 40 多个评测集上进行了全方位的评测，结果可以总结为以下的雷达图： 1.相比前代性能大增，仍难媲美 ChatGPT Llama-2 在多个评测集上的表现优于 Llama-1，但仍然...

国联证券-计算机行业专题研究_AI大模型成果不断涌现_AGI或将到来.pdf

07-01

阿里云的通义千问2.5版本在OpenCompass基准测试中的得分与GPT-4 Turbo相当，这标志着中国企业在AI技术研发方面取得了显著成就。这不仅有助于提升国内AI产品的竞争力，也为全球用户提供了更多选择。 ##### 2.4 腾讯...

参与评论您还未登录，请先登录后发表或查看评论

InternLM实战营---第七节课作业

m0_53935992的博客

05-03

307

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

OpenCompass 司南大模型测评

2301_77641278的博客

04-19

1603

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

OpenCompass 评测 InternLM-1.8B 实践

qq_42137576的博客

07-23

1231

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。

书生浦语之：OpenCompass 评测 InternLM-1.8B 实践

XUTINGZHANGLOVE的专栏

07-27

766

OpenCompass2.0，又称“司南”，是由上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系。其主要是用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

书生大模型实战营--L1关卡-OpenCompass 评测 InternLM-1.8B 实践

cgq081616的专栏

07-27

1014

3、再里面的 opencompass/configs/eval_internlm_chat_lmdeploy_apiserver.py增加1.8b调用地址。一、使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能。1、使用lmdeploy部署 internlm2-chat-1.8b模型。2、根据OpenCompass官网教程安装并下载数据集。注意：评测mmlu的时候注释掉其他数据集。4、运行评测脚本---使用API调用。

第三期书生大模型实战营之OpenCompass 评测 InternLM-1.8B 实践

T_susan的博客

08-04

236

使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能，记录复现过程并截图。

基础岛 - OpenCompass 评测 InternLM-1.8B 实践

最新发布

纸上得来终觉浅绝知此事要躬行

08-09

265

遗憾的是，装完了才发现有opencompass/requirements/runtime.txt文件存在，直接就能依赖包安装好。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。查看ceval的评测数据，每个文件夹内都是csv文件，涉及不同领域，共有55个csv文件。最终结果会把每个csv（领域）的评测结果都打印出来，还有6个平均值。程序启动后，会依次将所有55个csv都走一遍推理流程。漫长的执行，用了1581.46秒。

L1-OpenCompass 评测 InternLM-1.8B 实践

Finnwestbrook的博客

08-06

887

使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能。我们选择mmlu_gen进行评测，通过以下命令评测 InternLM2-Chat-1.8B 模型的性能。主观评测旨在评估模型在符合人类偏好的能力上的表现。为了探究模型的主观能力，我们采用了JudgeLLM作为人类评估者的替代品（正常运行显示——“Starting inference process”Compare模式：将模型的回答进行两两比较，以计算对战其胜率。查看支持的模型和数据集。

（第三期）书生大模型实战营——OpenCompass评测InternLM-1.8B

a_blade_of_grass的博客

08-04

755

OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型(InternLM2,GPT-4,LLaMa2

02-06

OpenCompass是一个专为法学硕士设计的评估平台，其核心特性在于它能够支持广泛的机器学习和人工智能模型，这些模型包括但不限于InternLM2、GPT-4、LLaMa2、Qwen、GLM以及Claude等。这个平台的创建旨在通过先进的技术...

Python_OpenCompass是一个LLM评估平台，支持Llama3 Mistral InternLM2GPT4.zip

05-24

Python_OpenCompass是一个专为大型语言模型（LLM）评估设计的开源平台，它具有对Llama3、Mistral、InternLM以及GPT-4等先进模型的支持。这个平台的目的是提供一个高效且灵活的方式来测试和分析这些模型的性能，以...

OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型

02-07

OpenCompass是一个专为法学硕士评估设计的平台，它整合了多种先进的自然语言处理模型，如InternLM2、GPT-4、LLaMa2、Qwen以及GLM和Claude等。这些模型代表了当前AI技术在理解和生成人类语言方面的最新成就，使得...

大模型微调工具-torchtune

weixin_40777649的博客

08-08

462

1.定义2.安装3. 案例。

Python爬虫与MongoDB的完美结合

weixin_52392194的博客

08-03

840

我们掌握了在Windows和Linux系统下安装MongoDB，设计适合爬虫存储数据的写入规范，并通过实际爬虫示例展示了如何将爬取到的数据存储到MongoDB中。此外，还进行了MongoDB性能优化，提高了数据存储和查询的效率。

python的匿名函数

weixin_74923758的博客

08-05

221

python中的匿名函数是一种简洁的函数定义方式，它使用lambda关键字来创建。匿名函数通常用于需要一个函数对象，但又不想去定义一个完整的函数时。它们可以接收任意数量的参数，但只能有一个表达式。匿名函数经常与函数的参数一起使用，例如map（），filter（）和sorted()等函数，这些函数可以接受一个函数作为参数来指定如何操作数据。map()函数可以将一个给定的函数应用于一个可迭代对象的每个元素。是函数体，它是一个表达式，其结果将作为函数的返回值。

jupyter下载

Einstein·Jun

08-06

548

Anaconda下载参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。用记事本打开它。按下ctrl+F就可以开始查找。查找内容如下：找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！

OpenCompass

09-25

OpenCompass是一个开源的自然语言处理(NLP)工具包。安装OpenCompass的步骤如下： 1. 创建一个新的虚拟环境并安装必要的软件包。使用以下命令创建新环境并激活它： ``` conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y conda activate opencompass ``` 2. 克隆OpenCompass的GitHub仓库并切换到项目目录： ``` git clone https://github.com/InternLM/opencompass opencompass cd opencompass ``` 3. 使用pip安装OpenCompass： ``` pip install -e . ``` 4. 下载数据集，并将其解压缩到`data/`目录中： ``` wget https://github.com/InternLM/opencompass/releases/download/0.1.0/OpenCompassData.zip unzip OpenCompassData.zip ``` 关于OpenCompass的性能榜单和参与评测的信息，请参考OpenCompass的Leaderboard页面和相关文档。如果您希望将自己的模型或API加入评测，请将模型仓库地址或标准API接口发送至opencompass@pjlab.org.cn。