LLM分布式训练第三课-模型并行之流水线并行

最新推荐文章于 2024-05-06 14:00:53 发布
最新推荐文章于 2024-05-06 14:00:53 发布
阅读量1k 收藏 11
点赞数 17
文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingsoftcloud/article/details/136867520
版权
本文介绍了在深度学习大模型训练中，由于模型过大无法容纳于单个GPU的问题，提出了模型并行化的概念，重点讲解了流水线并行（Pipeline Parallelism）的工作原理和优化方法，包括Gpipe、1F1B、PipeDream等策略，以提高训练效率并减少算力浪费。
摘要由CSDN通过智能技术生成

在实际的生产中，在训练时面对的压力主要是模型太大，无法装载进一块GPU中。

  举一个例子，一般来讲现代LLM训练采用的精度都是FP16或者BF16，采用这种精度来训练模型，如果1个模型参数，要占用2个字节，也就是16bit。

  在上一章开头的7B案例已经讲过，如果对一个7B模型用BF16或者FP16来进行预训练那么现在市面上最高显存的GPU，如H100/80G也是无法进行装载的。因此由于这个物理上的硬件限制，在训练时我们都会进行模型并行化处理。

  何为模型并行化，总体来说分为纵向和横向的模型并行化拆分，即：

  • 流水线并行PP（Pipeline Parallelism）

  • Tensor并行TP (Tensor Parallelism)

流水线并行

  流水线并行PP（Pipeline Parallelism），是一种最常用的并行方式，也是最初Deepspeed和Megatron等大模型训练框架都支持的一种并行方式。

  什么是流水线并行呢？简而言之是把一个参数量较大的模型按照不同的层进行划分，将多个模型的层尽可能均匀的分布在不同的GPU显存上，来起到装载更大模型的能力。

图片

PP的通信和运行方式

   如图所示，假设一个大模型有4层，采用PP的方式，可以

最低0.47元/天 解锁文章
周博洋K
关注
  • 17
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式训练-模型并行：流水线并行【PP（Pipeline Parallelism）】【不是用于提速，是用于解决一张卡放不下模型】
u013250861的博客
08-26 507
¶与数据并行不同，流水线并行将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。以上图为例，示例模型包含四个模型层。该模型被切分为三个部分，并分别放置到三个不同的计算设备。即，第 1 层放置到设备 0，第 2 层和第三 3 层放置到设备 1，第 4 层放置到设备 2。相邻设备间通过通信链路传输数据。
一步一步理解大模型：管道并行优化技术
chattyfish的博客
07-21 724
这就需要一个同步点，也就是"栅栏"，在此点上，所有线程都会等待，直到所有线程都到达这个点，然后再一起继续执行。由于数据需要在设备之间复制，因此代码应用了一种名为"栅栏同步"的技术，用来确保数据在被复制到下一个设备之前已经被计算出来。另外批量的训练数据也划分成更小的批量，称为微批次（micro-batches），在当前设备处理完毕微批次后，把输出传送到下一个设备，同时自身接受下一个微批次，从而实现并行处理。这是为了将一个大模型分割成小的部分，然后每一部分放在不同的设备（如GPU）上进行并行计算。
LLM分布式训练---流水线并行
最新发布
摩登都市天空---专栏
05-06 1347
所谓流水线并行，就是由于模型太大，无法将整个模型放置到单张GPU卡中；因此，将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。流水线并行PP（Pipeline Parallelism），是一种最常用的并行方式，也是最初Deepspeed和Megatron等大模型训练框架都支持的一种并行方式。如下图所示，模型共包含四个模型层（如：Transformer层），被切分为三个部分，分别放置到三个不同的计算设备。
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
Dartao的博客
03-22 1796
在 "GPipe:Efficient Training of Giant Neural Networks using Pipeline Parallelism"（使用流水线并行技术有效培训巨型神经网络）一文中，展示了如何使用流水线并行技术扩展 DNN 训练，从而克服这一限制。GPipe 是一个分布式机器学习库，使用同步随机 梯度下降 和流水线并行技术进行训练，适用于任何由多个序列层组成的 DNN。
【分布式深度学习-文章阅读】GPipe: Efficient Training of Giant Neural Networksusing Pipeline Parallelism
小欧欧的博客
08-15 1212
1、这篇文章是近期大多数做分布式并行训练的 baseline之一 ； 2、这篇文章侧重点就是model parallelism，往细了说就是layer parallelism，再通俗点就是，grouped layer parallelism； 3、曾经最常用的是，data parallelism，但是随着transformer等大模型的出现，不用model parallelism基本上等于放弃研究了，所以model parallelism再次回归，然后大热。......
A Practical Approach to Exploiting Coarse-Grained Pipeline Parallelism in C Program
Max Wong
05-16 947
出版信息：Conference: 40th IEEE/ACM International Symposium on MicroarchitectureAuthor: William Thies, Vikram Chandrasekhar, Saman AmarasingheYear: 2007p.p.: 356 ~ 368内容总结：文章寻求一种将老旧的C程序并行化的办法。文章的办法是让程序员在程序中加入提示符，而提示符是以宏的形式定义的，用途是把一个循环内的工作分阶段地并行化。当任务分好阶段后，就通过不同的
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
在建造阶段，TensorRT会接受一个训练好的深度学习模型，对其进行优化，并生成一个针对特定硬件平台的推理引擎。在执行阶段，TensorRT会加载优化后的推理引擎，并对其进行推理计算，输出推理结果。
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
终端LLM AI模型:mlc-llm
10-10
**终端LLM AI模型：mlc-llm详解** MLC LLM，全称为Multi-Language Localized Language Model，是一款创新的AI技术，旨在提供一种通用的解决方案，将强大的语言模型能力带入各种硬件设备和本地应用程序。这个模型的...
用通俗易懂的方式讲解大模型分布式训练并行技术：流水线并行
2301_78285120的博客
09-05 2126
所谓流水线并行，就是由于模型太大，无法将整个模型放置到单张GPU卡中；因此，将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。如下图所示，模型共包含四个模型层（如：Transformer层），被切分为三个部分，分别放置到三个不同的计算设备。即第 1 层放置到设备 0，第 2 层和第三 3 层放置到设备 1，第 4 层放置到设备 2。相邻设备间通过通信链路传输数据。
大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
热门推荐
结构之法 算法之道
08-24 2万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
数据并行(DP)、张量模型并行(TP)、流水线并行(PP)
yuanyuanxingxing的专栏
08-23 1万+
数据集分为n块，每块随机分配到m个设备(worker)中，相当于m个batch并行训练n/m轮，模型也被复制为n块，每块模型均在每块数据上进行训练，各自完成前向和后向的计算得到梯度，更新后，再传回各个worker。以确保每个worker具有相同的模型参数。下图1：每个设备分1份数据下图2：每个设备分4份数据数据不切分的话，就是总共N-1次传输中每次传输数据大小为O（O是模型参数量），数据流转完整一圈仍然需要(N-1)*O的时间，传统参数服务器的总时间没区别了。
VLLM推理流程梳理
I good vegetable a!
08-14 1万+
本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。先从使用VLLM调用opt-125M模型进行推理的脚本看起： 可以看到这里创建了一个LLM对象，然后调用了LLM对象的函数。这就是vllm的入口点，接下来我们对LLM这个类的generaet过程进行解析。首先看一下LLM类的初始化函数： 可以看到LLM类似于对LLMEngine进行了封装，一个LLM对象对应了一个LLMEngine对象。接下来我们解析一下和，首先来看： 接下来对进行解析： 从的定义可以知道，它做了初始化token
深度学习大模型训练--分布式 deepspeed PipeLine Parallelism 源码解析
Chenql716的博客
10-26 4083
Deepspeed pipeline Parallelism 源码解读以 alexnet 为例讲解 profile，compute partition，convert model，runtime 四个步骤
LLM Data Pipelines: 解析大语言模型训练数据集处理的复杂流程
Baihai_IDP的博客
07-25 1910
编者按：在训练大语言模型的过程中,构建高质量的训练数据集是非常关键的一步，但关于构建大模型训练所需数据集的通用数据处理流程（Data pipelines)的相关资料极为稀少。 本文主要介绍了基于Common Crawl数据集的数据处理流程。首先,文章概述了Common Crawl的不同数据格式WARC、WAT和WET的区别及应用场景。然后,文章详细阐述了数据处理流程的几个关键步骤,包括从数据源获取数据、去重、语言识别、使用模型筛选以及LLaMA中添加的“是否是参考来源”筛选等等。在各个步骤中,文章总结了不
掌握大型语言模型（LLM）技术：推理优化
wdn blog
12-03 3415
大模型（LLM）推理优化技术整理。
LLM系列-大模型技术汇总
GeekPlusA的博客
10-26 383
LLM系列-大模型技术汇总
百度智能云大模型分布式训练：AIAK基础与加速策略
大模型分布式训练基础原理.pdf文档深入探讨了大模型在百度智能云环境下的分布式训练实践。由百度资深研发工程师张恒华分享，该文主要关注百度百舸AI加速套件（AIAK）在支持大模型训练中的关键要素和技术优势。 首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值