[论文笔记] chatgpt系列 2.1 DeepSpeed-chat 简介

已于 2023-08-03 19:02:05 修改
阅读量2.3k 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： 自然语言处理 人工智能
于 2023-04-28 15:17:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/130416741
版权

DeepSpeedExamples/applications/DeepSpeed-Chat at master · microsoft/DeepSpeedExamples · GitHub

🐕 DeepSpeed-Chat:简单，快速和负担得起的RLHF训练的类chatgpt模型 🐕

一个快速、经济、可扩展和开放的系统框架，用于实现端到端的强化学习人类反馈(RLHF)训练体验，以在所有尺度上生成高质量的类chatgpt模型。

🚀什么是DeepSpeed聊天🚀

https://user-images.githubusercontent.com/124002815/230290966-a78ea171-ab65-4fcc-b91e-67c7c4403497.mp4

本着使chatgpt风格的模型及其功能民主化的精神，DeepSpeed很自豪地推出了一个通用的系统框架，为类似chatgpt的模型提供端到端的培训体验，名为DeepSpeed Chat。它可以自动采用您最喜欢的预训练大型语言模型，通过OpenAI InstructGPT风格的三个阶段来生成您自己的高质量chatgpt风格模型。DeepSpeed Chat使高质量chatgpt风格模型的培训变得简单，快速，经济实惠和可扩展。

只需点击一下，您就可以在1.36小时内在1个具有48GB内存的消费级NVIDI

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
chatgpt学习项目chat-gpt-master.zip
05-15
chatgpt学习项目chat-gpt-master.zip
DeepSpeed-Chat训练整理
qq_41395554的博客
04-14 622
DeepSpeed-Chat全流程训练整理
从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat的源码
结构之法 算法之道
09-17 7982
如此文所述，微软开源的DeepSpeed Chat(简称DSC)实现的不错，会给你一个完整而通透的“PPO算法/RLHF”的代码实现全流程，好的资料可以让你事半功抠完它的关键代码后，你会发现和之前本博客内另一篇写的原理部分都一一对应起来了(ChatGPT技术原理解析，只有懂原理才能更好的理解实现或实际实现，特别是该文的第三部分)，而把论文、原理/算法、公式、代码一一对应，可以让你的理解有个质变微软开源的DeepSpeed Chat ：一键式RLHF训练，可以用于自己训练ChatGPT中文版。
InstructGPT高效实践——【DeepSpeed-Chat】源码详解(1/3)：基本概念、数据集管理
Remixa的博客
05-17 3652
早些时候微软发布了遵从InstructGPT训练逻辑的训练框架DeepSpeed-Chat，旨在通过良好的DeepSpeed生态降低类ChatGPT模型昂贵的训练成本，为了能更直接地理解有关技术原理，我对其中实现训练相关的代码进行了详细剖析，考虑到目前还没有太多相关文章对此进行过深入介绍，因此我将在本博客中探讨这个框架的实现细节，以帮助有需要的人能更好地理解和使用它。另外，我也非常欢迎大家在评论区分享出自己对这个框架的看法以及使用经验，或是提出对本文的建议。框架源码地址。
DeepSpeed-Chat 代码分析及使用详解
chaishen10000的专栏
06-20 1957
根据上面的分析，对模型微调的完整流程如下：数据部分读取tokenizer: 从预训练模型中读取tokenizer读取处理数据 train_dataset, eval_dataset设置 train_sampler， eval_sampler设置train_dataloader， eval_dataloader （使用DataLoader）模型部分设置DeepSpeed配置参数导入并实例化 model可选：LoRA设置。
AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-15 9592
​ AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略 目录 DeepSpeed Chat的简介 DeepSpeed Chat的安装和使用方法 DeepSpeed Chat的使用方法 DeepSpeed Chat的简介 DeepSpeed-Chat的产生背景 ChatGPT 之类的模型席卷了 AI 世界，可以毫不夸张地说它对数字世界的影响是革命性的。这些模
[算法前沿]--011-DeepSpeed-Chat 模型训练实战（上部）
学-> 思->用
05-19 877
其中，阶段（a）的 GPT-3.5 或 GPT-4 预训练部分是计算量最大的阶段。这不仅需要大量的 GPU（几十到数百个），而且训练时间非常长（数月），因此通常只有大型企业才能进行训练。在本实例中，我们使用了 Facebook 公开的 opt 系列预训练模型，并主要针对 b、c、d 三个步骤进行训练。d) 基于人类反馈的强化学习（RLHF：Reinforcement learning with human feedback）（对应 DS-Chat 中的 Step3）。
人手一个ChatGPT！微软DeepSpeed Chat震撼发布，一键RLHF训练千亿级大模型
04-13
人手一个ChatGPT的梦想，就要实现了？刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！
ChatGPT身份指令关键词-prompts.pdf
03-15
【ChatGPT身份指令关键词-prompts.pdf】 在AI领域，ChatGPT是一个具有代表性的预训练语言模型，它由OpenAI公司开发，属于人工智能（AI）的范畴，尤其在自动内容生成（AIGC）方面表现出色。ChatGPT通过大规模的语言...
基于大模型的微信聊天机器人:chatgpt-on-wechat
03-04
项目分类：[ChatGPT] [AI] 项目标签：[语言模型] [聊天机器人] [智能ChatGPT] 推荐理由：使用大模型搭建微信聊天机器人，基于 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/LinkAI，支持个人微信、公众号、企业微信部署...
简易版chatgpt网站chat-gpt-website-master.zip
最新发布
04-25
简易版chatgpt网站chat-gpt-website-master.zip
InstructGPT高效实践——【DeepSpeed-Chat】源码详解(2/3)：Supervised Finetuning、Reward Model Finetuning
Remixa的博客
05-17 3679
本篇为上中下三篇章的【中篇】，接续自【上篇】。主要针对三阶段训练中第一阶段、第二阶段较为重要的部分源码进行详解。尽管官方的上手文档均是以sh文件为例进行演示，且源码中确实也提供了便捷的sh文件供直接使用，但我仍建议通过各阶段的main.py文件（）来运行训练，大致原因有二：其一是因为官方预设的sh文件调用了。
InstructGPT高效实践——【DeepSpeed-Chat】源码详解(3/3)：RLHF Finetuning
Remixa的博客
05-17 3804
前言   本篇为上中下三篇章的【下篇】，接续自【中篇】。主要针对整个DeepSpeed-Chat框架中最为复杂的第三阶段进行详解，其中涉及到部分InstructGPT所述相关原理的实践，基于其代码将更易于理解诸多原理中一笔带过的话题，如“用于经验采集的策略网络到底是SFT还是Actor”“Critic的迭代又是如何实现的”等等。   尽管这是讨论DeepSpeed-Chat技术为主的文章，但还是不得不借用ColossalChat（另一个实现了RLHF Pipeline的开源项目，项目地址）绘制的流程示意图（
[论文笔记] chatgpt系列 2.2 DeepSpeed-chat 训练流程脚本
心宝的博客
04-28 314
作为整个3步InstructGPT管道中最复杂的一步，DeepSpeed Chat的混合动力引擎提供了足够的加速，以避免大量的训练时间(成本)。强化学习人类反馈(RLHF)获取更多信息。如果您已经有了经过微调的Actor和奖励模型检查点，那么您可以简单地运行以下脚本来启用PPO训练。
DeepSpeed-Chat：最强ChatGPT训练框架，一键完成RLHF训练！
yanqianglifei的专栏
04-13 2963
本着使 ChatGPT 式模型及其功能民主化的精神，DeepSpeed 自豪地推出了一个通用系统框架，用于为类 ChatGPT 模型提供端到端的培训体验，名为 DeepSpeed Chat。它可以自动采用你最喜欢的预训练大型语言模型，通过 OpenAI InstructGPT 风格的三个阶段来生成您自己的高质量 ChatGPT 风格模型。DeepSpeed Chat 使类似ChatGPT 风格的模型训练变得简单、快速、经济且可扩展。
重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！
weixin_36896856的博客
04-13 514
点击上方“AI遇见机器学习”，选择“星标”公众号第一时间获取价值内容【导读】微软开源的DeepSpeed Chat，让开发者实现了人手一个ChatGPT的梦想！人手一个ChatGPT的梦想，就要实现了？刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！项目地址：https://git...
论文阅读：DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation
qcmhzly的博客
08-31 1271
此外，如果将专家并行性设置为模型中专家数量最少，那么对于专家数量较多的MoE层，每个GPU需要多个专家，由于每个专家的批处理大小减少，导致效率低下，并且每个GPU所需的内存增加。请注意，每个GPU现在可以在每个MoE层训练1个专家，而不管其中的专家数量如何，这不会减少每个专家的输入令牌，也不会导致负载不平衡，也不会增加每个GPU的内存需求。从密集的 MoE 模型到稀疏的 MoE 模型的转变可以在大型模型领域开辟一条通往新方向的道路，在这个领域，用更少的资源部署更高质量的模型变得更加可能。
如何在window10安装DeepSpeed chat（补充编译报错C2398部分）
feking2的博客
04-14 9465
如何在windows10安装DeepSpeed Chat。首先通过git下载deepspeed。然后打开里面的README.md搜索里面的 ## Requiremenets，
deepspeed-chat实战
08-03
DeepSpeed-Chat是一个用于训练ChatGPT类似模型的工具，它可以帮助用户以更高效、更经济的方式进行强化学习训练。你可以在GitHub上找到DeepSpeed-Chat的示例代码和文档[1] [2]。DeepSpeed-Chat的训练过程分为三个阶段...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值