使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能

最新推荐文章于 2024-10-15 11:38:32 发布
最新推荐文章于 2024-10-15 11:38:32 发布
阅读量206 收藏 4
点赞数 2
文章标签： python 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78174402/article/details/141095728
版权

 操作依据教程链接Tutorial/docs/L1/OpenCompass/task.md at camp3 · InternLM/Tutorial (github.com)

在InternStudio平台上

列出所有跟 InternLM 及 C-Eval 相关的配置：

由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。

使用配置文件修改参数法进行评测

2301_78174402
关注
LLM InternLM-Chat-7B书生模型、Baichuan-13B-Chat百川模型简单使用
weixin_42357472的博客
07-13 2162
https://github.com/baichuan-inc/Baichuan-13B ## web demo使用代码参考下载。https://huggingface.co/baichuan-inc/Baichuan-13B-Chat ##模型下载。https://github.com/InternLM/InternLM ## web demo使用代码参考下载。https://huggingface.co/internlm/internlm-chat-7b ##模型下载。
第7讲 使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能
shafsyjwqt的博客
04-23 943
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生浦语之：OpenCompass 评测 InternLM-1.8B 实践
XUTINGZHANGLOVE的专栏
07-27 872
OpenCompass2.0，又称“司南”，是由上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系。其主要是用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
【书生浦语实战】opencompass评测internlm-chat1.8b模型
weixin_45575017的博客
09-12 278
配置以下代码到 /root/opencompass/configs/models/hf_internlm/的hf_internlm2_chat_1_8b.py。运行完毕后会看到1.8b模型在各种任务上的效果。重新搭建环境搞了两个多小时，真的无比慢。到opencompass文件夹下，运行命令。查看相关模型配置文件。
OpenCompass 评测 InternLM-1.8B 实践
forinout的博客
08-13 636
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在。
（第三期）书生大模型实战营——OpenCompass评测InternLM-1.8B
a_blade_of_grass的博客
08-04 908
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
基础岛 - OpenCompass 评测 InternLM-1.8B 实践
纸上得来终觉浅 绝知此事要躬行
08-09 693
遗憾的是，装完了才发现有opencompass/requirements/runtime.txt文件存在，直接就能依赖包安装好。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。查看ceval的评测数据，每个文件夹内都是csv文件，涉及不同领域，共有55个csv文件。最终结果会把每个csv（领域）的评测结果都打印出来，还有6个平均值。程序启动后，会依次将所有55个csv都走一遍推理流程。漫长的执行，用了1581.46秒。
书生大模型实战营-基础关-OpenCompass 评测 InternLM-1.8B 实践
greatwind的博客
08-16 201
中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。打开 opencompass文件夹下。
书生大模型实战--OpenCompass 评测 InternLM-1.8B 实践
m0_71853180的博客
08-31 791
本次学习，了解了 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在 `C-Eval` 基准任务上的评估。
书生大模型实战营-基础关卡-6-OpenCompass 评测 InternLM-1.8B 实践
微风❤水墨
08-15 216
列出所有跟 InternLM 及 C-Eval 相关的配置 测试过程挺慢的，为了防止超时，测试结果直接导出到日志 08/14 20:33:06 - OpenCompass - INFO - Loading ceval_gen: configs/datasets/ceval/ceval_gen.py 08/14 20:33:07 - OpenCompass - INFO - Loading hf_internlm2_chat_1_8b: configs/models/hf_internlm/h
基于internlm-chat-7b的保险知识大模型微调.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
Llama2-7B/13B chat模型（下载地址）.txt
08-14
- **Llama2**：这是一个由Meta公司推出的人工智能语言模型系列，旨在通过更高效的学习算法和更大的训练数据集来提高模型的性能。 - **7B与13B**：这里的数字表示模型参数量的规模。7B代表该模型拥有大约70亿个参数...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1129
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
如何使用Python爬虫处理JavaScript动态加载的内容？
Z_suger7的博客
10-11 674
JavaScript动态加载的内容为爬虫带来了挑战，但也提供了新的机遇。通过使用Selenium、分析API请求或Pyppeteer，我们可以有效地爬取这些动态内容。这些方法各有优势，Selenium适合模拟复杂的用户交互，API请求适合直接获取数据，而Pyppeteer则提供了更强大的JavaScript控制能力。在实际应用中，开发者应根据目标网站的特点和需求选择合适的方法。随着技术的不断发展，我们也需要不断学习和适应新的工具和方法，以保持在数据获取领域的竞争力。复制再试一次分享。
python安装第三方库的问题与解决方法
WANGWUSAN66的博客
10-10 781
大部分第三方库都是在国外网站，如果直接使用pip install 包名，下载速度会很慢，这对一些大型包是很致命的，如果下载中断则需要重头再来。安装某些包时，进行到一半出现构建wheel错误，这可能由于某些神秘的原因造成的，非常让人恼火。有些包（如rasterstats）既不能通过pip安装，在2中的网站也找不到，该怎么办？在python第三方库综合网站上搜索这个包，手动下载whl文件，下载完成后使用。解决方案：使用国内镜像（如清华镜像下载），速度很容易达到1M以上；
RWKV-CHN模型部署教程
SJJS_1的博客
10-10 1194
RWKV-x060-World-7B-v2.1-20240507-ctx4096 一号空间，RWKV 语言模型旨在通过为自动化所有事情来消除使用大型语言模型的障碍。用户所需要的就是一个只有几兆字节的轻量级可执行程序。本文将详细介绍如何实现该模型的本地部署。
JavaSE——认识异常
wx2023_10_15的博客
10-12 951
本文主要是正在学习异常的总结，主要讲了异常的概念、体系结构、分类、处理以及捕获，还有自定义异常类
从零开始搭建自动化测试工具：详细指南(四)-完结
zhangkexin_z的博客
10-11 390
在项目根目录下，创建conftest.py文件，使用pytest的钩子函数来实现。每执行一次用例，钩子函数会获取执行结果，根据执行结果来封装自己的测试报告。# 执行默认的钩子返回的report中，包含了测试结果信息，根据report的数据，来封装自己的测试报告。在中，可以使用pytest的标记功能来标记特定的功能（Feature）、场景（Scenario）或者步骤（Step）。例如，在.feature@slow这里使用了@slow标记来标记一个功能。passpass可以在运行pytest时，使用。
Python实现文本数据可视化：构建动态词云
最新发布
所念皆星河
10-15 139
在信息爆炸的时代，如何有效地从海量的文本数据中提取关键信息并直观展示，成为数据分析师和研究人员面临的重要挑战。词云作为一种流行的文本可视化工具，通过不同大小、颜色和字体的文字展示文本中关键词的出现频率或重要性，帮助观众快速把握文本主旨。本文将深入探讨如何使用Python构建动态词云，并结合实际案例展示其应用技巧。
llama-2-7b-chat-ggml模型下载
01-12
Llama-2-7b-chat-ggml模型是一个基于人工智能的聊天模型，可以用于生成与人类对话相似的回复。该模型的名称中的“Llama”代表其核心算法，即“对抗性大规模多轮问答系统”（Large-Scale Multi-Turn Question Answering System），该算法在处理复杂的自然语言对话时表现出色。 Llama-2-7b-chat-ggml模型是由一支来自OpenAI的研究团队开发的。他们使用了强化学习技术和大量的真实对话数据进行模型的训练和优化。模型具有广泛的应用领域，如虚拟助手、在线客服、智能聊天机器人等。 要下载Llama-2-7b-chat-ggml模型，你可以访问OpenAI官方网站并找到相关页面。通常，他们会提供有关模型的详细信息和操作说明，以及模型训练所需的计算资源和数据。 在下载之前，你可能需要了解一些模型使用的要求和限制。例如，该模型可能需要较强的计算能力和存储空间来运行。另外，你还需要确保你的使用符合OpenAI的使用协议和条款。 总之，Llama-2-7b-chat-ggml模型是一个功能强大的聊天模型，可以生成与人类对话相似的回复。如果你对该模型感兴趣，你可以前往OpenAI官方网站下载并了解更多相关信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值