大模型学习之书生·浦语大模型1——全链路开源体系

最新推荐文章于 2024-11-02 15:22:06 发布
最新推荐文章于 2024-11-02 15:22:06 发布
阅读量899 收藏 6
点赞数 9
分类专栏： # 书生·浦语大模型 文章标签： 学习 大模型 llm 浦语 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/135374647
版权
本文介绍了书生·浦语大模型的开源历程，包括InternLM系列的性能提升，以及从模型选择、微调到部署的全链条开源体系，涵盖了数据预训练、XTuner优化、OpenCompass评测和智能体部署等关键环节。
摘要由CSDN通过智能技术生成

在这里插入图片描述

书生·浦语大模型全链路开源体系

在这里插入图片描述
大模型成为热门关键词
在这里插入图片描述
大模型成为发展通用人工智能的重要途径，未来是使用一个模型应对多种任务，多种模态。

书生·浦语大模型开源历程

在这里插入图片描述
在这里插入图片描述

  • InternLM-7B
  • InternLM-20B
  • InternLM-123B

在这里插入图片描述
性能达到LIama2-70B水平

从模型到应用

在这里插入图片描述
在这里插入图片描述

  • 模型选型，不同维度上不同业务上的能力
  • 业务场景是否复杂，非常复杂的话直接开源模型可能不能满足需求
  • 是否算力足够，如果足够可以进行续训练，或者全参数微调，如果不够就只能微调
  • 业务场景是否需要与环境交互，是否需要调用外部API或者数据库，构建智能体
  • 模型评测
  • 模型部署

全链条开源开放体系

在这里插入图片描述

  • 数据：书生万卷
  • 预训练：InternLM-train
  • 微调：XTuner
  • 部署：LMDeploy
  • 评测：OpenCompass
  • 应用：Lagent AgentLego

数据

在这里插入图片描述
在这里插入图片描述

  • OpenDataLab
  • 5400+数据集
  • 30+模态
  • 80TB数据大小

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述

  • XTuner
  • 兼容不同算法
  • 兼容不同生态模型和数据集
  • 自动化优化加速

在这里插入图片描述

评测

在这里插入图片描述
在这里插入图片描述

  • OpenCompass
  • 6大维度
  • 80+评测集
  • 40w+评测题目
    在这里插入图片描述
    在这里插入图片描述
  • 丰富的模型支持
  • 分布式高效评测
  • 便捷的数据集接口
  • 敏捷的迭代能力

在这里插入图片描述

  • 丰富的模型支持

部署

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

智能体

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

在这里插入图片描述

uncle_ll
关注
专栏目录
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1526
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1784
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型全链路开源体系-作业1
gy77
05-27 496
大型语言模型的历史可以追溯到2017年,当时OpenAI推出了GPT-1(Generative Pre-trained Transformer)模型,这是一个基于Transformer架构的语言生成模型,在多个自然语言处理任务上取得了突破性进展。通用大模型是指参数量巨大、覆盖广泛的通用模型,这些模型通过海量的训练数据积累了丰富的知识和能力,能够适用于多种不同的任务和模态。相比之前的专用模型,大模型具有更强的迁移学习能力,可以通过少量的细化训练在特定任务上发挥出色的性能。1. 工具链极其完善！
书生·浦语大模型全链路开源体系
weixin_39897979的博客
01-04 1763
书生·浦语大模型全链路开源体系介绍，包括数据、预训练、微调、部署、评测、应用端到端全流程体系。
书生·浦语大模型——全链路开源体系
qq_44496832的博客
02-10 346
7B： 13B： 20B：智能客服、个人助手、行业应用 数据 预训练 微调 评测
书生浦语大模型实战营——第一课: InternLM大模型全链路开源体系
m0_61736727的博客
01-05 650
针对特定任务，特定场景，一个模型解决一个问题。eg：ImageNet的图像分类。：学完课程后对langchain的学习，可能之后会用到！一个模型应对多种任务。eg：ChatGPT。书生万卷-2TB数据，涵盖多种模态与任务。全参数微调或部分参数微调。
大模型学习之书生·浦语大模型笔记汇总
uncle_ll的博客
01-30 749
笔记汇总
书生·浦语大模型全链路开源体系——第一期
m0_74012020的博客
04-01 333
对于一个模型的部署，我们会根据实际情况以及应用业务场景初步做一个评判，选择合适的基础模型，然后根据实验设备算力是否足够选择微调的方案，在训练完模型后对模型做一个评测，评测指标达到满意的效果后进行发布。OpenMMLab设计了一套很方便的开源体系，通过该体系可以很方便地完成大模型训练的全过程。首先是数据集，OpenMMLab开源了书生·万卷训练数据集。然后是预训练和微调模型的方式。
书生·浦语大模型全链路开源体系（四）——微调（XTuner）
2301_77286822的博客
01-12 1382
{},}]通过 python脚本：将数据集中的 “问题” 和 “回答 ”两列 提取出来，再放入.jsonL文件的每个 conversation 的 input 和 output 中，这一步的 python 脚本可以请 ChatGPT 来完成。[{},}]# 修改import部分，其实这一句改不改都行# 修改模型为本地路径# 修改训练数据为 MedQA2019-structured-train.jsonl 路径# 修改 train_dataset 对象。
书生·浦语：大模型全链路开源体系（五）——推理部署
2301_77286822的博客
01-15 1575
大模型的推理速度将严重影响，用户的体验感和使用效率，各个大厂都在尽可能的提升模型的推理输出速度，常见的方法有量化、蒸馏和剪枝等。本篇文章将重点介绍上海人工智能实验室推出的LMDeploy部署架构，提高模型的推理速度。
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 999
书生浦语LLM大模型教程
嵌入式通信协议：UART简明学习笔记
weixin_73867577的博客
10-31 748
学习UART串口的简明学习笔记
ORB-SLAM2源码学习：ORBextractor.cc：IC_Angle 利用灰度质心法求解关键点方向角
2301_76831056的博客
11-01 658
IC_Angle 利用灰度质心法求解关键点方向角并在computeOrientation函数中被调用计算图像中所有特征点的方向。
嵌入式通信协议：MODBUS简明学习笔记
最新发布
weixin_73867577的博客
11-02 211
学习Modbus的简明学习笔记
jsp web学习二(比较老的啦)
qq_52122048的博客
10-29 1069
JavaBean模式(MVC)适合开发复杂的web应用，在这种模式下，servlet负责处理用户请求，jsp负责数据显示，javabean负责封装数据。Servlet+JSP+JavaBean模式程序各个模块之间层次清晰，web开发推荐采用此种模式。一个良好的JavaWeb项目架构应该具有以上的11个包，这样显得层次分明，各个层之间的职责也很清晰明了，搭建JavaWeb项目架构时，就。
学习力体系
m0_46221544的博客
10-29 350
在一个小镇上，有一位年轻的学者小明，梦想成为一名科 学家。然而，他总是感到学习困难，知识无法长久保持。有一天，他遇到了一位智者，智者告诉他：“学习的力量能够改变命运。”小明意识到，提升学习力是实现梦想的关键，从此开始探索学习方法的旅程。通过以上方法，小明的学习能力不断提升，最后实现了自己的梦想。每个人都可以通过这些方法来加强自身的学习力，迎接更加美好的未来。怎样才能让知识长久保持？如何有效地提升学习力？
人工智能入门要学习多久？
cd_farsight的博客
10-31 279
人工智能是一个快速发展的领域，新的技术和算法不断涌现。这可能需要你定期投入时间，比如每月至少花费几个小时来跟踪最新的研究和发展。如果你是计算机科学或相关专业的学生，或者对计算机科学有较深的兴趣，可能能更快地掌握。实践项目的时间可以因项目的复杂性和范围而异，通常需要几个月的时间来完成。学习人工智能所需的时间可以根据个人的学习速度、目标和深度有所不同。这通常需要几个月的时间，具体取决于个人的数学背景。：Python是进行人工智能学习的主要语言，建议从基础开始学习，这也是一个月左右的时间可以掌握。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值