【书生浦语大模型实战营第三期】基础岛 书生大模型全链路开源体系

最新推荐文章于 2024-10-08 16:27:32 发布
最新推荐文章于 2024-10-08 16:27:32 发布
阅读量292 收藏 8
点赞数 4
分类专栏： 书生浦语大模型实战营第三期 文章标签： 笔记 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40574825/article/details/140826266
版权

讲师： 陈恺，上海人工智能实验室 青年科学家

主题： 书生·浦语大模型全链路开源体系

B站回顾： 书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

在这里插入图片描述

视频首先接受了关于大模型的发展路程和生活中的具体应用如经典的AlphaGo的围棋比赛和近年来的AI预测蛋白质结构，由专用的模型变成的通用大模型比ChatGPT。简述了有关书生浦语的开源和发展历程。

在这里插入图片描述

书生·浦语 2.0(InternLM2)的体系

面向不同的使用需求 ，每个规格包含三个模型版本。

  • 7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型。
  • 20B：模型的综合性能更为强劲，可有效支持更加复杂的实用场景。
  • InternLM2-Base：高质量和具有很强可塑性的模型基座 是模型进行深度领域适配的高质量起点。
  • InternLM2：在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座。
  • InternLM2-Chat：在 Base 基础上，经过 SFT 和 RLHF，面向对话交互进行了优化，具有很好的指令遵循、共情聊天和调用工具等的能力。

在这里插入图片描述

回归语言建模的本质

新一代数据清洗过滤技术

  • 多维度数据价值评估：基于文本质量、信息质量、信息密度等维度对数据价值进行综合评估与提升。
  • 高质量语料驱动的数据富集：利用高质量语料的特征从物理世界、互联网以及语料库中进一步富集更多类似语料。
  • 有针对性的数据补齐 针对性补充语料，重点加强世界知识、 数理、代码等核心能力。
    在这里插入图片描述

InternLM2的主要亮点

在这里插入图片描述

模型到应用的典型流程

模型到应用的典型流程如下

模型选型: 根据业务需求选择合适的模型。

业务场景分析: 评估算力和环境交互需求。

参数微调: 根据场景选择微调形式。

环境交互类型选择: 构建智能体（agent）。

构建智能体: 根据需求构建。

模型评测: 使用OpenCompass等工具进行评测。

模型部署: 将模型部署到实际应用中。

在这里插入图片描述

书生浦语全链条开源开放体系：

由以下数据准备（书生·万卷）、预训练（InternLM-Train）、微调（XTuner）、部署（LMDeploy）、评测（OpenCompass）、应用（LagentAgentLego） 组成。
在这里插入图片描述

开放的高质量语料数据

在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述

评测

在这里插入图片描述
在这里插入图片描述

部署

在这里插入图片描述
在这里插入图片描述

智能体

在这里插入图片描述
在这里插入图片描述

weixin_40574825
关注
专栏目录
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1737
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生浦语大模型实战营第三期 L1 书生大模型全链路开源体系学习笔记
yizhiboshanshan的博客
07-24 247
总结：书生·浦语大模型构建了全链路开源体系，并深入介绍了其发展历程与独特特点。大模型作为通用人工智能的关键路径，已展现出解决多元化任务与模态的强大能力。具体而言，书生葡语大模型凭借其超长上下文处理能力，实现了综合性能的全面飞跃，不仅支持结构化创作，还确保了数据分析的可靠性。此外，该模型还强化了内生计算能力并集成了先进的代码解释器，在多个能力维度上均取得了优异的评测成绩。
【书生大模型实战营第三期】基础岛 第1关 书生大模型全链路开源体系
weixin_46390472的博客
08-06 204
其中，最新的 InternLM2.5 模型拥有领先与同时期开源产品的推理能力，不仅支持100万字的上下文，还具有自主规划和搜索以完成复杂任务的特点。InternLM 家族拥有不同参数量的模型，能够满足不同用户的需求，适应各种场景。除了大模型本身，书生·浦语团队还构建了一整套从头到尾，从数据到训练，从科研到应用，从开发到部署的完整开源链路生态。推理能力不仅优于上一代模型，而且相比于同量级的大模型也有不俗的表现。模型训练数据精心构造，包括基于规则的数据，人为扩充和反馈的数据。
基础岛 - 书生·浦语大模型全链路开源开放体系
纸上得来终觉浅 绝知此事要躬行
08-06 498
书生·浦语大模型全链路开源开放体系
【书生大模型实战营第三期 | 基础岛第1关-书生大模型全链路开源体系】
imath60的博客
08-06 488
视频提供了对书生·浦语大模型全链路开源体系的全面介绍，让我认识到开源对于推动技术进步和知识共享的重要性。实战营的免费算力机会尤其吸引人，它为开发者和研究者提供了实践和探索的宝贵资源。此外，通过GitHub上的教程和社区互动，可以更直接地参与到模型的开发和优化过程中，这对于提升个人技能和对大模型的理解都非常有帮助。总的来说，这次学习经历不仅增进了我的知识，也激发了我参与开源社区、贡献自己力量的热情。
《书生大模型实战营第3期》基础岛 第1关 ：书生大模型全链路开源体系
shiter编写程序的艺术
08-04 958
卓越的推理性能：在数学推理方面取得了同量级模型最优精度，超越了 Llama3 和 Gemma2-9B。有效支持百万字超长上下文：模型在 1 百万字长输入中几乎完美地实现长文“大海捞针”，而且在 LongBench 等长文任务中的表现也达到开源模型中的领先水平。可以通过LMDeploy尝试百万字超长上下文推理。更多内容和文档对话 demo 请查看这里。工具调用能力整体升级：InternLM2.5 支持从上百个网页搜集有效信息进行分析推理，相关实现将于近期开源到Lagent。
大模型实战营第二期——1. 书生·浦语大模型全链路开源开放体系
啷个哩个啷
01-03 1157
B站-书生·浦语大模型全链路开源体系数据：汇聚 5400+ 数据集，涵盖多种模态与任务，更多数据集预训练：并行训练，极致优化，速度达到 3600 tokens/sec/gpu微调：全面的微调能力，支持SFT，RLHF和通用工具调用部署：全链路部署，性能领先，每秒生成 2000+ tokens评测：全方位评测，性能可复现，50 套评测集，30 万道题目。
大模型实战营Day1 书生·浦语大模型全链路开源体系
m0_72806612的博客
01-05 603
第一天学习内容的讲授者为陈恺，是上海人工智能实验室的大牛，毕业于我大清。大模型使得传统对于特定任务，一个模型解决一个问题的方式有了重大突破和改变。本篇为笔者参加实战营第一天的学习笔记，后续会持续更新。主打的是一手参数量很小，但是性能在一些测试集上很高。本次课程的核心内容到此告一段落。
书生浦语大模型实战营第三期基础岛——internLM介绍
m0_52189460的博客
08-12 145
书生浦语到目前已开源一年多的时间，最新发布的internLM2–20B性能可媲美gpt4，7B推理能力也非常卓越。书生浦语开源体系介绍：并且书生浦语进行了全部链路的开源，从开发到应用，多模态语料库，预训练框架，微调推理框架，模型性能评测以及实用的其他工具。
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1450
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
【 书生·浦语大模型实战营】学习笔记（二）：轻松玩转书生·浦语大模型趣味Demo
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-05 1220
本文为实战营第二次课程笔记，主要分为两个部分，第一部分部署 InternLM2-Chat-1.8B 模型进行智能对话。第二部分为完成 Lagent 工具调用 数据分析 Demo 部署，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 969
书生浦语LLM大模型教程
书生·浦语大模型全链路开源体系（陈恺|上海人工智能实验室 青年科学家）-听课笔记
weixin_60280805的博客
01-03 1346
多模态智能体工具箱AgentLego。- 浦语大模型全链路开源体系生态。全链路开源开放体系|预训练。全链路开源开放体系|智能体。全链路开源开放体系|数据。全链路开源开放体系|微调。全链路开源开放体系|微调。全链路开源开放体系|部署。轻量级智能体Lagent。书生·浦语大模型系列。
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 924
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
haidizym的博客
10-06 408
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 545
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
typora笔记导出word格式：
最新发布
sinat_40759442的博客
10-08 245
链接：https://pan.baidu.com/s/17AZNIMImbzFtWJAcAfAB0g?点击 设置Pandoc路径，然后选择pandoc.exe位置，就可以导出。Pandoc：各系统下载github链接。windows安装包。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 822
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值