书生大模型实战营闯关 - 基础岛 - 书生大模型全链路开源体系

已于 2024-08-31 16:18:20 修改
阅读量236 收藏
点赞数 2
文章标签： 深度学习 语言模型 transformer
于 2024-08-11 20:52:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nachtmusik/article/details/141110822
版权

文章目录

1. 书生大模型全链路开源体系总览

社区蓝图
从数据到预训练, 到微调, 到部署, 到评测, 到应用,实现方案, 全部开源!

书生万卷

从数据方面呢, 这个在也开源了一个预训练的语料库, 书生万卷数据集@opendatalab
开放数据

针对数据标注, 开源了数据处理工具箱

  • labelllm 大模型辅助标注
  • MinerU 复杂文档解析工具
  • Label U 轻量标注 在这里插入图片描述

InternEVO 预训练框架

4D并行的全面预训练框架
在这里插入图片描述

微调框架XTuner

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LMDeploy 部署框架

在这里插入图片描述
在这里插入图片描述

OpenCompass 评测框架

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

应用

MindSearch大模型增强搜索引擎

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Lagent 智能体框架

在这里插入图片描述

HuixiangDou 群聊助手RAG

在这里插入图片描述
在这里插入图片描述

InternLM 历程

发展历程

在这里插入图片描述
在这里插入图片描述

InternLM2.5 今日性能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

领先的推理能力

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1M token 上下文

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

iSenses
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1688
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生大模型实战营-基础关-书生大模型全链路开源体系
greatwind的博客
08-01 387
书生浦语2.0体系，模型大小主要有。
书生大模型实战营3期 - 基础岛 - 1 - 书生大模型全链路开源体系
wocsdn111的博客
08-13 194
本文旨在介绍书生·浦语开源大模型的全链路开源开放体系，包括其关键特性、开源历程、工具链体系以及实战营的社会影响。
8.14 书生大模型实战营-基础岛1 - 全链路开源体系作业
zjzjsuus的博客
08-14 310
该体系涵盖了从数据、模型预训练、模型微调、模型部署、模型评测、模型应用等多个环节，以促进模型性能的提升和应用场景的多样化。对于一些复杂问题，该大模型能够模拟人的解决思路，将问题逐步拆解成一个个子问题，并引入了检索的功能，利用搜索引擎筛选资料，最终整合成问题答复！这个智能体的demo展示特别牛！右边能够实时展示模型的思考过程，并且引入了搜索引擎，目前对这个非常感兴趣！3.基于人类反馈的数据生成 强化学习思路，RLHF路子。1.基于规则的构造 代码 公式，函数，数学题解。2.基于模型的数据扩充 代码加注释。
书生大模型实战营基础岛 - 书生大模型全链路开源开放体系
J_M_Kirito的博客
08-11 155
最近一年团队对大模型的全链路进行了打通，包括：数据收集整理，数据标注，模型训练、微调、评测，基于模型的agent、rag、搜索引擎，ai应用的部署都进行了方案实现和开源。(XTuner, Lmdeploy等等)
【书生大模型实战营第三期 | 基础岛第1关-书生大模型全链路开源体系】
imath60的博客
08-06 465
视频提供了对书生·浦语大模型全链路开源体系的全面介绍，让我认识到开源对于推动技术进步和知识共享的重要性。实战营的免费算力机会尤其吸引人，它为开发者和研究者提供了实践和探索的宝贵资源。此外，通过GitHub上的教程和社区互动，可以更直接地参与到模型的开发和优化过程中，这对于提升个人技能和对大模型的理解都非常有帮助。总的来说，这次学习经历不仅增进了我的知识，也激发了我参与开源社区、贡献自己力量的热情。
书生大模型实战营闯关记录----第八关：书生大模型全链路开源开放体系
Ace_bb的博客
08-11 927
书生大模型，即InternLM系列模型，是由上海人工智能实验室书生团队开发的一系列大语言模型。这些模型以其强大的功能而著称，涵盖了从基础的语言理解到复杂的数学解题和图文创作等多个领域。
中秋卷王：蒲语书生InterLM大模型实战闯关-基础岛-书生大模型全链路开源体系
最新发布
m0_73722957的博客
09-16 249
OpenCompass评测体系。预训练InternEvo。部署LMDeploy。
【书生大模型实战营第三期】基础岛 第1关 书生大模型全链路开源体系
weixin_46390472的博客
08-06 182
其中，最新的 InternLM2.5 模型拥有领先与同时期开源产品的推理能力，不仅支持100万字的上下文，还具有自主规划和搜索以完成复杂任务的特点。InternLM 家族拥有不同参数量的模型，能够满足不同用户的需求，适应各种场景。除了大模型本身，书生·浦语团队还构建了一整套从头到尾，从数据到训练，从科研到应用，从开发到部署的完整开源链路生态。推理能力不仅优于上一代模型，而且相比于同量级的大模型也有不俗的表现。模型训练数据精心构造，包括基于规则的数据，人为扩充和反馈的数据。
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1414
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 940
书生浦语LLM大模型教程
NL2SQL技术方案系列(3)：大模型工具调用实战NL2API技术方案以及行业案例讲解1
丨汀、的博客
04-23 652
NL2SQL技术方案系列(3)：大模型工具调用实战NL2API技术方案以及行业案例讲解1
NL2SQL技术方案系列(2)：全系列技术选型完整版：从通用技术选型(向量、图数据库)、大模型选择、Prompt工程、前沿技术方案展示
丨汀、的博客
04-23 1431
NL2SQL技术方案系列(2)：全系列技术选型完整版：从通用技术选型(向量、图数据库)、大模型选择、Prompt工程、前沿技术方案展示
NL2SQL技术方案系列(5)：金融领域NL2SQL技术方案以及行业案例实战讲解3--非LLM技术方案
丨汀、的博客
04-24 449
NL2SQL技术方案系列(5)：金融领域NL2SQL技术方案以及行业案例实战讲解3--非LLM技术方案
基于深度学习的多模态信息检索
weixin_42605076的博客
09-13 1191
基于深度学习的多模态信息检索技术，通过多模态特征的提取、融合和匹配，实现了从多种数据模态中进行高效检索的能力。随着深度学习技术的不断进步，特别是注意力机制和变换器架构的应用，多模态信息检索将在多个领域展现出更广泛的应用前景和潜力。
RNN股票预测(Pytorch版)
qq_52237775的博客
09-16 365
记录RNN实战
《深度学习》深度学习 框架、流程解析、动态展示及推导
wx_AHao1004Y的博客
09-12 1416
深度学习是一种基于人工神经网络架构进行机器学习的技术方法。它模拟人类大脑的神经网络结构和工作原理，通过多层次的神经元网络，对大量的输入数据进行处理和分析，从而实现对数据的自动学习和抽象表示，进而实现对复杂问题的解决和预测。 深度学习的核心是深度神经网络，它由多个隐藏层组成，每个隐藏层包含多个神经元节点。每个神经元节点都与上一层和下一层的神经元节点相连，通过对这些节点之间的连接权重进行调整，使得网络能够对输入数据进行有效的学习和表示。
如何通过深度学习实践来理解深度学习的核心概念
xw555666的博客
09-13 845
通过深度学习实践可以更好地理解其核心概念，因为理论知识在实际应用中会面临复杂性和挑战。通过实践，不仅可以加深对深度学习概念的理解，还能发现理论与实际之间的差距，进而对模型进行改进和优化。实践中遇到的问题（如梯度消失、过拟合、训练效率低等）能促使你深入思考，进而更加全面地掌握深度学习的核心概念。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值