Large Language Model系列之三：大模型并行训练（Parallel Training of Large Language Models）

最新推荐文章于 2025-04-01 23:19:24 发布
最新推荐文章于 2025-04-01 23:19:24 发布
阅读量747 收藏 5
点赞数 5
分类专栏： AIGC LLM 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanglianlm/article/details/140552112
版权

Large Language Model系列之三：大模型并行训练（Parallel Training of Large Language Models）

1 各类并行算法

在这里插入图片描述

参考资料:
1 大模型并行训练

2 ZeRO（Zero Redundancy Optimizer）零冗余优化

ZeRO（Zero Redundancy Optimizer）是由微软研究院开发的一种内存优化技术，专门设计用于优化大规模深度学习模型的训练过程。ZeRO的核心原理是通过减少内存冗余来提高训练效率，使得可以在有限的硬件资源上训练更大的模型。

以常用的Adam优化器为例，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Large Language Models are Parallel Multilingual Learners
c_cpp_csharp的专栏
05-27 337
在这项研究中，我们揭示了多语言大型语言模型（LLM）的上下文学习（ICL）能力：通过将输入翻译成几种语言，我们为LLM提供多语言并行输入（PIM），这显著提高了它们的理解能力。为了测试这一能力，我们设计了广泛的实验，包括8个典型的数据集、7种语言和8个最先进的多语言LLM。实验结果表明：（1）加入更多的语言有助于PIM进一步超越传统的ICL；（2） 即使与不如基线性能的翻译相结合也会有所帮助。此外，通过检查LLM中被激活的神经元，我们发现了一个违反直觉但有趣的现象。
人工智能大模型技术基础系列之：分布式模型存储与加载
AI天才研究院
11-01 519
随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）如GPT-3、BERT、T5等在自然语言处理领域取得了突破性进展。这些模型通常包含数十亿甚至上千亿个参数，为了有效地存储、加载和推理如此庞大的模型，分布式技术成为了不可或缺的解决方案。本文将深入探讨大模型分布式存储与加载的核心技术，包括模型并行、张量并行、流水线并行等关键概念，以及它们在实际应用中的实现方法和优化策略。
大模型并行训练
weixin_45901142的博客
10-27 1322
介绍大模型并行训练相关知识
图解大模型训练之：数据并行（DP、DDP、ZeRO、零冗余优化)
最新发布
qingkahui24689的博客
04-01 690
1、在DP中，每个GPU上都拷贝一份完整的模型，每个GPU上处理batch的一部分数据，所有GPU算出来的梯度进行累加后，再传回各GPU用于更新参数2、DP多采用参数服务器这一编程框架，一般由若个计算Worker和1个梯度聚合Server组成。Server与每个Worker通讯，Worker间并不通讯。因此Server承担了系统所有的通讯压力。基于此DP常用于单机多卡场景。3、异步梯度更新是提升计算通讯比的一种方法，延迟更新的步数大小决定了模型的收敛速度。
大模型并行训练指南——通俗理解Megatron-DeepSpeed：从模型并行(张量并行、流水线并行)到数据并行ZeRO3优化
热门推荐
结构之法 算法之道
08-24 3万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
用通俗易懂的方式讲解大模型分布式训练并行技术：数据并行
2301_78285120的博客
09-05 3276
本文主要讲解了大模型分布式训练并行技术的数据并行，并以Pytorch为主线讲解了DP、DDP、FSDP三种不同的数据并行方案。DP 主要存在如下问题：单进程多线程模式，由于锁的机制导致线程间同步存在瓶颈。使用普通的All-Reduce机制，所有的卡需要将梯度同步给0号节点，并由0号节点平均梯度后反向传播，再分发给所有其他节点，意味着0号节点负载很重。由于第二点的原因，导致0号GPU通讯成本是随着GPU数量的上升而线性上升的。不支持多机多卡。目前，由于性能问题，DP基本不用了。
大模型训练~数据并行
whaosoft143ai的博客
05-28 1678
1、在DP中，每个GPU上都拷贝一份完整的模型，每个GPU上处理batch的一部分数据，所有GPU算出来的梯度进行累加后，再传回各GPU用于更新参数2、DP多采用参数服务器这一编程框架，一般由若个计算Worker和1个梯度聚合Server组成。Server与每个Worker通讯，Worker间并不通讯。因此Server承担了系统所有的通讯压力。基于此DP常用于单机多卡场景。3、异步梯度更新是提升计算通讯比的一种方法，延迟更新的步数大小决定了模型的收敛速度。 whaosoft aiot http://143a
【RetNet】论文解读：Retentive Network: A Successor to Transformer for Large Language Models
bigcrab的博客
02-18 2901
论文开头提出了一个不可能三角，分别是training parallelism, low-cost inference, good performance；以往的架构只能获得三种优势中的两种，而RetNet可以全部获得；首先是Linear Transformer ：其主要处理的方式是对k和v进行处理，例如[Linformer]论文实现：Linformer: Self-Attention with Linear Complexity_linformer网络结构-CSDN博客。
Computational Bottlenecks of Training Small-scale Large Language Models 翻译
Doc2X的博客
11-21 1087
https://arxiv.org/pdf/2410.19456 Computational Bottlenecks of Training Small-scale Large Language Models 小规模大型语言模型训练的计算瓶颈
模型并行 | 大规模语言模型架构 Megatron
weixin_66945478的博客
08-16 6967
Megatron是NVIDIA提出的一种由于分布式训练大规模语言模型的架构，针对Transformer进行了专门的优化（也就是大矩阵乘法）。，主要提出了通过将矩阵分块提高并行度的方法。，对于分布式中的一些重要的设计，如tensor parallel、pipeline parallel、micro batch size等进行了一些分析与讨论。同时提出了更加精细的pipeline结构与communication模式。
大模型训练之并行篇-------数据并行/模型并行(层间层内)/流水并行
weixin_36378508的博客
03-29 5570
ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning 发表在SC 21，同样是进行offload，ZeRO-Offload更侧重单卡场景，而ZeRO-Infinity则是典型的工业界风格，奔着极大规模训练去了。层间模型并行则是对模型层进行切分，业界也有很多做框架的公司管它叫Pipeline并行，但是我的观点是层间模型并行只有真的流水起来了才能够叫Pipeline并行。典型例子就是1D的Megatron。
敲重点！最全大模型训练合集！
Kenji_Shinji的博客
06-24 1万+
如图所示，PS架构将计算节点分为server与worker，其中，worker用于执行网络模型的前向与反向计算。而server则对各个worker发回的梯度进行合并并更新模型参数，对深度学习模型参数中心化管理的方式，非常易于存储超大规模模型参数。但是随着模型网络越来越复杂，对算力要求越来越高，在数据量不变的情况下，单个GPU的计算时间是有差异的，并且网络带宽之间并不平衡，会存在部分GPU计算得比较快，部分GPU计算得比较慢。这个时候如果使用异步更新网络模型的参数，会导致优化器相关的参数更新出现错乱。而使用同
大模型并行训练、超大模型分布式训练
Debroon
12-12 3372
一个用于训练大型语言模型的开源项目。提供了对大规模模型进行并行训练的能力，支持模型并行和数据并行，并提供了一系列的优化策略和工具，以提高训练效率和性能。：适合模型大，数据少，需要对模型做切分，将模型参数划分为多个部分，放到不同的GPU上进行独立计算，再做聚合。如模型有 10000 层，10块GPU，GPU0 装载模型的前1000层，以此类推，GPU9 装载模型的最后 1000 层。适合模型大，数据少，需要对模型做切分，将模型参数划分为多个部分，放到不同的GPU上进行独立计算，再做聚合。
大模型入门：大模型的训练方法
lvaolan168的博客
09-16 838
随着现在的模型越来越大，训练数据越来越多时，单卡训练要么太慢，要么无法存下整个模型，导致无法训练。当你拥有多张GPU（单机多卡，多机多卡）时，你就可以通过一些并行训练的方式来解决你的问题。每个GPU都加载全量模型参数，将数据分割成多块输入到每个GPU中单独处理，但在计算loss和梯度时会有同步机制。
【AI大模型】大规模分布式训练并行模式，收藏这一篇就够了！！
2401_85325397的博客
11-15 980
模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。
大规模分布式训练--模型并行策略
大海中的游鱼
03-13 5899
什么是模型并行 随着深度学习领域的发展，研究人员发现模型越大训练出来的效果越好，因此模型越来越大成为深度学习领域的一个显著特征。但是越大的模型对设备的要求越高，即需要单卡的算力更强，内存空间更大。当单卡运行不能满足 模型的要求时，往往需要多卡甚至多台机器协调工作，共同完成训练工作。但如何协调多卡/多机来完成大模型的训练，是大规模分布式训练所需要解决的问题。 模型并行策略是大规模分布式训练很常见的策略之一。它通过将模型中特定子图中的权值均匀的分配到多张卡上，从而降低了模型对单卡的内存要求。帮助模型顺利运行起来
大模型入门（三）—— 大模型的训练方法
chaishen10000的专栏
06-15 1万+
属于数据并行的范畴，但又很不一样，在ZeRO中会将模型参数、优化器参数、梯度等分片到不同的GPU上，ZeRO的方法可以配合张量并行或者流水线并行一起使用，但在配合TP或者PP时，通常只启用优化器参数的分片，其他的分片可能会带来不好的效果。每个tensor被分割成多块（根据场景按行或者列分割）存储在不同的GPU上，每个GPU单独计算，最后同步汇总到一块，类似于transformer中的多头，假如每个头的计算都在一张单独的gpu上，计算完后将所有gpu的结果concat到一起再分发到每张gpu上。
FairScale 库测试实验（一）-- 大模型训练基础之模型并行
allrubots的博客
03-09 1935
简单的记录
张量模型并行详解 | 深度学习分布式训练专题
PaddlePaddle
04-30 814
随着模型规模的扩大，单卡显存容量无法满足大规模模型训练的需求。张量模型并行是解决该问题的一种有效手段。本文以Transformer结构为例，介绍张量模型并行的基本原理。模型并行的动机和现状我们在上一篇《数据并行：提升训练吞吐的高效方法|深度学习分布式训练专题》详细介绍了利用数据并行进行大规模分布式训练。读者不禁要问：仅仅使用数据并行，是否可以完全满足大模型训练的要求？随着技术的发展，业界内训练的模型越来越大，模型朝着更深和更宽的方向发展。以自然语言处理（NLP）领域为例，模型从Bert发展到GPT，模型规模
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mingo_敏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值