大模型多卡训练原理

已于 2024-01-20 15:07:22 修改
阅读量951 收藏 9
点赞数 6
分类专栏： 大模型 文章标签： 人工智能 大模型 多卡训练
于 2024-01-17 16:20:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43409127/article/details/135651680
版权

背景知识

深度学习涉及大量矩阵运算，而矩阵运算可以并行计算。

一、数据并行

每张卡加载不同的数据，将计算结果合并

存在问题：每个显卡都加载了模型，浪费了一定空间

二、模型并行：适合模型特别大的情况

1、串行计算

先用卡1计算结果1，然后卡2计算结果2，……卡n计算结果n，然后计算损失反向传播

串行计算，不是为了提速，而是为了解决模型一张卡放不下的问题

存在问题：gpu大量空闲

2、并行计算

batchsize=80，分成4个20

类似操作系统学的并行处理

存在问题：80个全部计算完，才反向传播

3、进一步优化

算完前向计算，直接反向传播，不等别人，gpu利用率进一步提高

绿色块为更新后的参数

存在问题：每一块gpu用的参数都不一样，参数不是同时更新的，模型层与层之间的参数不配套。

GPU优化：时间换空间或空间换时间

三、数据并行&模型并行

GPU1&GPU2、GPU3&GPU4：模型并行（难点：合理地切割模型）

GPU1&GPU3、GPU2&GPU4：数据并行

四、张量并行

1、一个完整，另一个按行或列并行

两张卡都保存x，卡1保存A列1，卡2保存A列2，分别计算然后拼接结果

支持激活函数的并行（因此常用）

2、对两个矩阵合理拆解

x和A都拆成两个模块，分别在卡1和卡2中计算，然后将结果相加

不支持激活函数的并行（因此不常用）

 3、其它拆法

优点：Gpu1和Gpu2没有重复数据，节约内存

五、多头注意力机制

大模型的核心：Transformer

Transformer的核心：多头注意力机制

多头注意力机制天然就适合并行计算

X1和X2的计算互不干扰

LSTM、RNN下一时刻的输出需要依赖上一时刻，无法做到并行，导致GPU闲置率太大。其效果不如注意力，同时与硬件也不匹配，因此失去研究前景。

GPT、T5、Bart、Bert都是基于注意力做的。

六、两台机器如何配合并行训练

南宫凝忆
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
总结：大模型分布式训练技术原理
安静的软件工程师
03-06 1321
总结：大模型分布式训练技术原理
多机多卡训练基本原理
吴建明wujianming_110117
02-12 1688
多机多卡训练基本原理 在工业实践中，许多较复杂的任务需要使用更强大的模型。强大模型加上海量的训练数据，经常导致模型训练耗时严重。比如在计算机视觉分类任务中，训练一个在ImageNet数据集上精度表现良好的模型，大概需要一周的时间，需要不断尝试各种优化的思路和方案。如果每次训练均要耗时1周，这会大大降低模型迭代的速度。在机器资源充沛的情况下，可以采用分布式训练，大部分模型的训练时间可压缩到小时级别。 飞桨paddle有便利的数据并行训练方式，仅改动几行代码即可实现多GPU训练，如何将一个单机程序通过简单的改造
多机多卡训练SD系列模型（一）
m0_62881125的博客
09-26 3294
stable diffusion作为开源的生成图的模型已经有了很多训练完的模型，训练一个大模型还是比较麻烦的，先进行lora训练，用到了这个项目还有stable diffusion的WebUI也有很多别的lora项目对kohya的脚本进行包装这是kohya的仓库这篇作为开头，只写了从收集数据、处理数据到训练lora，测试模型的整个流程是可以跑通的，后续文章中用的项目从lora-script转到了kohya-trainer，下一篇将分析kohya-trainer的参数和dreambooth方法。
Pytorch 多卡并行训练教程 （DDP）
fovever_的博客
01-01 5504
Pytorch 多卡并行训练教程 （DDP），关于使用DDP进行多开并行训练 网上有许多教程，而且很多对原理解析的也比较透彻，但是有时候看起来还是比较懵逼，再啃了许多相关的博客后，博主记录了一些自己对于使用torch.nn.DistributedDataParallel(DDP)进行单机多卡并行训练的一些体会，希望能对入门的小白有一定的帮助，不足之处也希望指出，大家一起交流学习。
万字长文，解读大模型技术原理！！(非常详细)零基础入门到精通，收藏这一篇就够了
最新发布
leah126的博客
06-08 1078
1）突破了远距离文本依赖的学习限制，避开了递归网络的模型体系结构，并且完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。2）可高度并行进行训练，这对发挥硬件红利以及快速迭代模型非常重要。下图是论文提到的Transformer模型，对编码器和解码器使用堆叠式的自注意力和逐点式、全连接层，分别如图1的左半部分（编码器）和右半部分（解码器）所示，相关技术细节后面会重点讲到。
《多GPU大模型训练与微调手册》
ZhengrongYue的博客
11-22 2337
《多GPU大模型训练与微调手册》
大模型入门（三）—— 大模型的训练方法
2301_81888214的博客
05-09 2319
随着现在的模型越来越大，训练数据越来越多时，单卡训练要么太慢，要么无法存下整个模型，导致无法训练。当你拥有多张GPU（单机多卡，多机多卡）时，你就可以通过一些并行训练的方式来解决你的问题。
Pytorch 多卡训练原理与实现
qq_40676033的博客
09-07 2669
文章目录Pytorch 多卡训练一、多卡训练原理二、单机多卡训练三、多机多卡训练后端初始化初始化init_method初始化rank和world_size四、模型保存参考链接 Pytorch 多卡训练 一、多卡训练原理 多卡训练流程一般如下： 指定主机节点 主机节点划分数据，一个batch数据平均分到每个机器上 模型从主机拷贝到各个机器 每个机器进行前向传播 每个机器计算loss损失 主机收集所有loss结果，进行参数更新 将更新后参数模型拷贝给各个机器 二、单机多卡训练 使用torch.nn.Da
大模型训练策略：单卡or多卡
Chrsitina_S的博客
11-04 1133
大模型训练策略
AI大模型实战训练营-大模型原理及训练技巧、大模型微调的核心原理
li3364207的博客
06-07 276
AI大模型实战训练营-大模型原理及训练技巧、大模型微调的核心原理
Pytorch：使用多卡训练模型
m0_60614056的博客
07-07 346
使用多卡训练模型
大模型训练技巧｜单卡&多卡｜训练性能评测
05-17 1657
大模型对于计算资源的要求越来越高，如何在有限的资源下开展训练？ 对于公司尤其是个人开发者来说，是一个非常有价值的问题。 本文将主要介绍大模型训练技巧，在单卡和多卡上的不同策略，以及对于性能的评测。
简述Pytorch多卡训练原理与实现
weixin_52067875的博客
07-11 5653
简述Pytorch多卡训练原理与实现
pytorch 单机多卡训练模型
weixin_61445075的博客
01-11 476
单机多卡pytorch训练模型
用通俗易懂的方式讲解大模型分布式训练并行技术：数据并行
2301_78285120的博客
09-05 2067
本文主要讲解了大模型分布式训练并行技术的数据并行，并以Pytorch为主线讲解了DP、DDP、FSDP三种不同的数据并行方案。DP 主要存在如下问题：单进程多线程模式，由于锁的机制导致线程间同步存在瓶颈。使用普通的All-Reduce机制，所有的卡需要将梯度同步给0号节点，并由0号节点平均梯度后反向传播，再分发给所有其他节点，意味着0号节点负载很重。由于第二点的原因，导致0号GPU通讯成本是随着GPU数量的上升而线性上升的。不支持多机多卡。目前，由于性能问题，DP基本不用了。
深度学习-GPU多卡并行训练总结
记录学习的小白
07-06 3739
首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。后面的部分和单GPU相同。
分布式训练框架FSDP的大模型训练流程详解
magic_road的博客
04-17 2207
FSDP是pytorch官方推出的分布式训练框架，它可以进行数据并行和模型并行的分布式训练框架。
5.Pytorch模型单机多GPU训练原理与实现
机器人视觉感知
01-14 1315
当我们使用的模型过大，训练数据比较多的时候往往需要在多个GPU上训练。使用多GPU训练时有两种方式，一种叫，一种是。方式，是在模型比较大导致一张显卡放不下的时候，将模型拆分然后分别放到不同的显卡上，将同一份数据分别输入进行模型训练。这种对模型结构各模块之间有联系时很不友好，有可能都不支持拆分。因此，应用更广泛的是的方式。方式，是将相同的模型拷贝到不同的显卡上，然后将数据平均划分后输入到相应显卡上进行计算，然后根据计算结果更新模型的参数。方式更新模型参数。
多GPU训练大型模型：资源分配与优化技巧 ｜ 英伟达将推出面向中国的改良芯片HGX H20、L20 PCIe、L2 PCIe
LANHYGPU的博客
11-16 1854
在人工智能领域，大型模型因其强大的预测能力和泛化性能而备受瞩目。然而，随着模型规模的不断扩大，计算资源和训练时间成为制约其发展的重大挑战。特别是在英伟达禁令之后，中国AI计算行业面临前所未有的困境。为了解决这个问题，英伟达将针对中国市场推出新的AI芯片，以应对美国出口限制。本文将探讨如何在多个GPU上训练大型模型，并分析英伟达禁令对中国AI计算行业的影响。
pytorch单机多卡训练模型
09-10
你可以使用PyTorch的`DataParallel`来实现单机多卡训练模型。`DataParallel`会自动将模型复制到每个可用的GPU并行计算，并在反向传播时进行梯度的累积和同步。 下面是一个简单的示例代码，展示了如何使用`DataParallel`来进行单机多卡训练模型： ```python import torch import torch.nn as nn from torch.utils.data import DataLoader # 定义模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) # 创建模型实例 model = MyModel() # 设置设备 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = model.to(device) # 多卡训练 if torch.cuda.device_count() > 1: model = nn.DataParallel(model) # 使用DataParallel包装模型 # 定义数据集和数据加载器 dataset = YourDataset() # 自定义数据集 dataloader = DataLoader(dataset, batch_size=64, shuffle=True) # 定义优化器和损失函数 optimizer = torch.optim.SGD(model.parameters(), lr=0.001) criterion = nn.MSELoss() # 训练过程 for epoch in range(num_epochs): for inputs, labels in dataloader: inputs = inputs.to(device) labels = labels.to(device) # 前向传播 outputs = model(inputs) loss = criterion(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() print(f"Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item()}") # 保存模型 torch.save(model.state_dict(), "model.pth") ``` 在上述示例中，如果有多个可用的GPU，则`DataParallel`会自动将模型复制到每个可用的GPU并行计算。你可以通过`torch.cuda.device_count()`函数来检查可用的GPU数量。在训练过程中，你只需要像单卡训练一样使用模型即可，`DataParallel`会自动处理数据和梯度的同步。 请确保你的代码在使用`DataParallel`之前将模型移动到正确的设备上，并在训练过程中将数据和标签移动到相同的设备上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值