书生大模型基础岛第六关

已于 2024-08-27 16:32:26 修改
阅读量158 收藏
点赞数 1
文章标签： python
于 2024-08-25 23:35:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xingheduying/article/details/141537117
版权

OpenCompass 评测 InternLM-1.8B 实践

任务目标：使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。

1.设置创建一个新的虚拟环境，安装对应的环境。

2.解压评测数据集到指定文件夹。

3.列出所有跟 InternLM 及 C-Eval 相关的配置，和预计的配置进行对比。

4.设计对应的python脚本hf_internlm2_chat_1_8b.py，然后在确保数据集后运行脚本。

5.最后输出OpenCompass的测评结果。

6.使用配置文件修改参数法进行评测

7.OpenCompass 还允许用户在配置文件中编写实验的完整配置，并通过 run.py 直接运行

xingheduying
关注
书生大模型基础岛第五关
xingheduying的博客
08-25 219
任务目标：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，如下图所示（图中的需替换成自己的昵称），记录复现过程并截图。8.使用提供的指令，将Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件。6.为了训练对应的模型人，准备需要的微调数据集，大量加入我们想要的数据，然后将数据集之中的对应姓名更改。10.重新进行powershell的端口映射，然后开始运行脚本，得到训练之后的模型得出的回答。9.使用提供的指令，进行模型合并。
书生大模型基础岛第四关
xingheduying的博客
08-25 318
5.调用LlamaIndex HuggingFaceLLM，然后运行llamaindex_internlm.py，python文件，随后得到对应模型的输出。3.挑选开源词向量模型Sentence Transformer，然后在虚拟环境之中下载Sentence Transformer 模型。词嵌入向量依赖，随后运行llamaindex_RAG.py文件，得到对应模型经过RAG技术后的输出答案。1.根据提供的数据创建新的虚拟环境，同时安装对应的基础依赖。4.选择不同的第三方库，然后下载NLTK 相关资源。
《书生大模型实战营第3期》基础岛 第1关 ：书生大模型全链路开源体系
shiter编写程序的艺术
08-04 953
卓越的推理性能：在数学推理方面取得了同量级模型最优精度，超越了 Llama3 和 Gemma2-9B。有效支持百万字超长上下文：模型在 1 百万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 等长文任务中的表现也达到开源模型中的领先水平。可以通过LMDeploy尝试百万字超长上下文推理。更多内容和文档对话 demo 请查看这里。工具调用能力整体升级：InternLM2.5 支持从上百个网页搜集有效信息进行分析推理，相关实现将于近期开源到Lagent。
书生大模型 - 基础岛 - 第六关 - OpenCompass应用
weixin_45464374的博客
08-12 218
1. 配置准备，包含数据集准备、模型准备，较为简单的是有标准答案客观评测的比对，而难度较高的是需要人类或者模型的主管评测比对，还需要设置评测模型（GPT-4）这种模型来进行高阶准备；（1）是自己构建评测集，由于存在数据污染问题，训练的时候对测试题目都进行了训练，考虑到实际场景应用，需要自己构建评测集，这一点要全流程贯穿，考虑模型配置和数据集配置；本测试集使用Ceval 评测，主要是高中和大学的各科评测题，60个左右评测集，每个测试集包含20~200个题目不等，考虑模型推理速度，所以这些题目数目还是很多的。
《书生大模型实战营第3期》基础岛 第6关 ：OpenCompass 评测 InternLM-1.8B 实践
shiter编写程序的艺术
08-13 812
接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在C-Eval基准任务上的评估。更多评测技巧欢迎查看文档~我们下节课再见！
基础岛第六关-书生大模型-OpenCompass 评测 InternLM-1.8B 实践
weixin_43808729的博客
08-03 1312
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
书生大模型实战营（第3期）入门岛第2关Python基础知识
aman_he的博客
08-01 857
书生大模型实战营（第3期）入门岛第2关Python基础知识
【书生大模型实战营第三期 | 基础岛第6关-OpenCompass 评测 InternLM-1.8B 实践】
imath60的博客
08-12 402
通过本次学习，我深刻理解了 OpenCompass 在深度学习模型评估中的实用性和高效性。从环境配置到数据准备，再到评测执行和结果可视化，整个过程条理清晰、步骤详尽。特别是命令行和配置文件两种评测方法的介绍，让我对如何灵活运用 OpenCompass 有了更深的认识。此外，文档中提供的调试模式对于排查问题非常有帮助，能够确保评测过程的顺利进行。总的来说，OpenCompass 不仅是一个强大的工具，更是提升模型评估效率和质量的好帮手。
【书生大模型实战营第三期 | 基础岛第3关-浦语提示词工程实践】
imath60的博客
08-07 319
通过深入学习《浦语提示词工程实践》课程，我认识到了在人工智能交互中，精确的提示词对于引导模型生成预期内容的重要性。课程中详细介绍了环境配置和模型部署的步骤，为实践者提供了清晰的指导。同时，提示工程的基本原则和LangGPT的结构化方法论，为设计有效的提示词提供了理论支持和实践路径。特别是在游戏开发中的应用示例，展示了LangGPT的灵活性和实用性。整体而言，课程不仅增进了我的技术知识，也为我未来的AI项目提供了宝贵的参考。
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1720
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1013
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1442
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
VeighNa：强大的Python开源量化交易平台
Unity打怪升级
09-26 676
VeighNa（简称 VN 或 vn.py）是一个基于 Python 的开源量化交易平台，专为量化交易爱好者和专业交易员设计。VeighNa 是由国内开发者社区推动的开源项目，旨在提供一个功能丰富、灵活且易于扩展的量化交易解决方案。该框架不仅支持多种资产类别的交易，如股票、期货、期权、加密货币等，还支持多种交易接口和协议，使得用户能够轻松进行多市场、多品种的交易策略开发和部署。
第二百五十四节 JPA教程 - JPA 多对多映射示例
2301_78772942的博客
09-27 694
第二百五十四节 JPA教程 - JPA 多对多映射示例
Python精选200Tips：171-175
AnFany
09-26 1221
Python深度学习的项目
python中的深浅拷贝以及总体框架了解
AgostoDu的博客
09-26 1151
1、当b使用copy.deepcopy()深拷贝的时候，可以理解为b不仅外面的整体开辟了一个新的内存地址，b里面包含的列表也开辟了新的内存地址和a里面的内存地址没有任何关系，所以当a修改里面列表元素的值时不会影响b里面列表元素的值。print(mr) #{'name': 'lis', 'age': 18, 'scroe': 100}<br>备注：已经存在的值的优先级>默认值<br>6.3 直接修改 值，显示最新修改值 （修改默认值优先级小于直接添加的字典值）<br>
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
最新发布
GIS潮流
09-30 601
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
书生·浦语大模型 黑屏
06-13
"书生·浦语"并不是一个广泛为人知的特定模型，可能是某个特定项目、产品或者人物的代称。由于信息有限，我无法提供详细的介绍。如果你是在问关于某个特定领域的大模型，比如人工智能研究中的一个模型，通常这类模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值