书生·浦语大模型全链路开源开放体系【大模型实战营第一课笔记】

已于 2024-01-25 15:04:45 修改
阅读量380 收藏 10
点赞数 10
分类专栏： 书生·浦语 文章标签： 笔记
于 2024-01-04 19:40:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62600724/article/details/135393438
版权
本文详细介绍了书生·浦语大模型的发展历程，包括其全链路开源体系，从数据准备（如书生·万卷1.0和OpenDataLab）到预训练、微调（借助XTuner和显存优化）、评测体系（如OpenCompass）以及部署解决方案（LMDeploy）。还探讨了轻量级智能体框架Lagent及其应用示例和多模态智能体工具箱AgentLego的应用。
摘要由CSDN通过智能技术生成

目录

1 背景

1.1 模型发展历程

1.2 书生·浦语大模型

​1.3 大模型应用流程

2 书生·浦语大模型全链路开源开放体系

2.1 数据

书生·万卷 1.0

​OpenDataLab​

2.2 预训练​

2.3 微调

微调的两种方式

微调框架：XTuner​

显存优化效果

2.4 评测

评测体系的整体态势​

OpenCompass介绍​

2.5 部署

技术挑战与方案​

LMDeploy​

2.6 应用：智能体​

         轻量级智能体框架：Lagent​

         Lagent应用示例​

         多模态智能体工具箱: AgentLego​

1 背景

1.1 模型发展历程

1.2 书生·浦语大模型

1.3 大模型应用流程

2 书生·浦语大模型全链路开源开放体系

2.1 数据

书生·万卷 1.0

OpenDataLab

2.2 预训练

2.3 微调

微调的两种方式

微调框架：XTuner

显存优化效果

2.4 评测

评测体系的整体态势

OpenCompass介绍

2.5 部署

技术挑战与方案

LMDeploy

2.6 应用：智能体

轻量级智能体框架：Lagent

Lagent应用示例

多模态智能体工具箱: AgentLego

叮咚。488
关注
  • 10
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1652
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1361
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
[书生·浦语大模型实战营]——第一节：书生·浦语大模型全链路开源体系and InternLM2 技术报告笔记
qq_41776136的博客
01-04 600
应用例子：智能客服/个人助手/行业应用 实现流程： 开源开放体系： 价值观对齐这个挺有意思嗷！ 大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式 （1）增量续训 使用场景：让基座模型学习到一些新知识，如某个垂类领域知识（垂类领域表示某个行业的某一部分，细分产业） 训练数据：文章、数据、代码等 （2）有监督微调 使用场景：让模型学会理解和遵循各种指令，或者注入少量领域知识 训练数据：高质量的对话、问答数据
大模型实战营Day1 书生·浦语大模型全链路开源体系
m0_72806612的博客
01-05 546
第一天学习内容的讲授者为陈恺，是上海人工智能实验室的大牛，毕业于我大清。大模型使得传统对于特定任务，一个模型解决一个问题的方式有了重大突破和改变。本篇为笔者参加实战营第一天的学习笔记，后续会持续更新。主打的是一手参数量很小，但是性能在一些测试集上很高。本次课程的核心内容到此告一段落。
《书生·浦语大模型全链路开源开放体系》学习笔记
CloudHuCoding
03-31 996
这一理论框架通过构建多层神经网络结构，利用逐层无监督学习预训练和后继的有监督微调相结合的方式，有效解决了传统神经网络训练中的梯度消失问题，从而大大提升了模型的学习能力和泛化能力，为后续深度学习的发展奠定了坚实的基础。2014年，深度学习在人脸识别领域实现了新的跨越。再者，以AlphaZero为代表的一系列强化学习大模型，在围棋、国际象棋等游戏中展现出超越人类顶尖选手的策略思考能力，证明了大模型在复杂决策问题上的强大解决能力，这也为构建能够进行独立思考和自主决策的通用人工智能提供了有力的技术支持。
Interlm笔记——第一课：书生·浦语大模型全链路开源体系
qq_44407313的博客
04-15 347
视频首先讨论了通用人工智能的发展趋势，从专用模型向通用大模型的转变。然后介绍了书生模型在过去几个月的升级，包括支持多模态、8K语境和不同尺寸的模型，以及在语言建模能力、对话交互和智能体框架方面的提升。最后，视频介绍了书生·浦语大模型的不同尺寸和类型，以适应不同的使用需求。- 总结了书生葡语的全链路开源开放体系，包括数据、预训练、微调、部署、评测和应用等环节。- 介绍了智能体的框架，包括轻量级智能体框架和多模态智能体工具箱。- 书生·浦语模型的升级：支持8K语境、多模态和不同尺寸的模型。
大模型实战营笔记：第一课：书生·浦语大模型全链路开源体系
donotpython的博客
01-09 515
大模型是指具有大规模参数和复杂计算结构的机器学习模型，设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。即便如此，20B大模型依旧能在综合考试、知识问答、阅读理解、推理、编程等任务达到先进水平，全面领先相近量级的开源模型，以不足三分之一的参数量，达到Llama2-70B水平。但是需要注意的是，模型从开发到部署依旧存在很大的鸿沟。因此，书生·浦语打造了从数据到预训练再到下游微调再到模型的部署、评测和应用的全链条开源开放体系，并在各个环节打造了相应的工具。
关于书生·浦语大模型全链路开源体系的笔记
GYX67的博客
07-21 384
从当下图标中我们可以看出大模型的发展趋势。当前，大模型已经成为发展通用人工智能的重要途经，它也逐渐从专业模型转变成通用模型。下面是书生·浦语大模型的发展历程。
第一节“书生·浦语大模型全链路开源体系”笔记
PiQiuNi的博客
04-03 533
书生·浦语大模型全链路开源体系在数据-预训练-微调-部署-评测-应用多个维度上，为大模型的开发提供了支持，帮助开发者更方便地进行系统开发与应用部署。
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
C++笔记5•内存管理•
qq_64446190的博客
08-12 675
内存管理
第二十五天培训笔记
最新发布
weixin_70756988的博客
08-12 233
选项表示将所有的依赖和代码打包到一个单独的文件中，这样生成的可执行文件更便于。、设置清华镜像站（从国内下载安装包，提高下载和安装工具速度）文件夹中找到生成的可执行文件。可以将这个可执行文件拷贝。在不替换原有代码的情况下，应对数据库软件的升级）到其他机器上（即使该机器没有安装 Python。数据框架，用于保存从数据库中读取的数据）的工具，通过这个工具，就可以。上面命令执行失败：执行该命令。完成打包后，会在当前目录的。）修改为清华大学的镜像源。有完整的读取数据的工具，是知名的数据分析工具，
Linux源码阅读笔记20-PCI设备驱动详解
Lenn Louis' Scribe
08-08 387
【代码】Linux源码阅读笔记20-PCI设备驱动详解。
网络安全自学笔记
2301_77160226的博客
08-07 1093
网络安全是指保护网络系统中的硬件、软件及其数据不因偶然或恶意的原因而遭到破坏、更改、泄露，保障系统连续可靠正常地运行，网络服务不中断。网络安全涵盖了众多方面，包括但不限于保护个人隐私、防止商业机密泄露、维护国家安全等。在当今数字化时代，几乎所有的信息交流和业务活动都依赖于网络，因此网络安全的重要性日益凸显。通过搭建实验环境，如使用虚拟机搭建一个包含服务器和客户端的网络，模拟各种网络攻击和防护场景，如进行 SQL 注入攻击的尝试，并实施相应的防护措施，如安装防火墙、使用加密技术等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值