LLM分布式训练第一课（通讯原语）

已于 2024-03-03 10:00:47 修改
阅读量926 收藏 17
点赞数 10
文章标签： 分布式 人工智能 深度学习 自然语言处理
于 2024-03-03 09:59:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingsoftcloud/article/details/136427134
版权
本文介绍了分布式训练系统的重要性，特别是对于处理大模型的需求。重点讲解了通信原语，如点对点通信（P2P）和集体通信（CC），包括Broadcast、Scatter、Gather、Reduce、All-Reduce、All-Gather和All2All等操作，这些在Pytorch的torch.distributed模块中实现，并在大模型训练中起到关键作用。
摘要由CSDN通过智能技术生成

这个系列作为TFLOPS和显存消耗的续篇，今天开始正式连载

上一部地址：

LLM 参数，显存，Tflops? 训练篇(5） (qq.com)

前一篇文章举了65B模型的训练所消耗的显存的案例，如果把条件降低一点，我们看一下7B的模型需要多少显存？

  • 2byte的模型静态参数权重（以16bit存储） = 14G

  • 2byte的模型更新参数权重 （以16bit存储）= 14G

  • 2byte的梯度（以16bit存储）= 14G

  • 2byte的梯度更新（以16bit存储）= 14G

  • 4byte的一阶动量优化器更新（以32bit存储）= 28G

  • 4byte的二阶方差优化器更新（以32bit存储）= 28G

    </
最低0.47元/天 解锁文章
周博洋K
关注
  • 10
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM - 大语言模型的分布式训练 概述
Mystra
03-22 1331
大语言模型的分布式训练是一个复杂的过程，涉及到将大规模的计算任务分散到多个计算节点上。这样做的目的是为了处理巨大的模型和数据集，同时，提高训练效率和缩短训练时间。
大语言模型LLM分布式训练：大规模数据集上的并行技术全景探索（LLM系列03）
North_D的博客
02-26 1651
大语言模型，如GPT-3、BERT等，在自然语言处理（NLP）领域取得了革命性的突破，其强大的泛化能力、丰富的语义理解和生成能力对AI发展至关重要。然而，随着模型参数量的增长和所需处理的训练数据规模剧增，传统的单机训练方式已无法满足需求。一方面，训练时间显著增加；分布式训练通过将计算任务分散到多个节点上执行，以提高训练效率，缩短收敛时间，并实现更大规模模型的训练。：在模型层级结构上实施并行，将模型的不同层分解到不同的计算单元，形成一个连续的处理管线，每一步都在各自的设备上按顺序执行，减少等待时间。
分布式训练硬核技术——通讯原语
朝闻道
02-23 2407
针对分布式训练服务器的集群进行架构设计，是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构： 参数服务器架构（Parameter Server，PS） 去中心化架构（Decentralized Network） 其中，分布式训练通常在计算集群上进行，集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享，需要将数据在不同节点间传输，这就是通信。分布式的通信一般有两大类： 集合通信（Collective communication，CC）：在一组节...
LLM分布式训练---流水线并行
摩登都市天空---专栏
05-06 1505
所谓流水线并行，就是由于模型太大，无法将整个模型放置到单张GPU卡中；因此，将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。流水线并行PP（Pipeline Parallelism），是一种最常用的并行方式，也是最初Deepspeed和Megatron等大模型训练框架都支持的一种并行方式。如下图所示，模型共包含四个模型层（如：Transformer层），被切分为三个部分，分别放置到三个不同的计算设备。
LLM 分布式训练框架 | DeepSpeed与Accelerate
weixin_43646592的博客
11-30 5357
LLM 分布式训练框架 | DeepSpeed与Accelerate
LLM分布式训练---混合并行（2D 3D）
摩登都市天空---专栏
05-08 1154
近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。而利用AI集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分，从而进行分布式存储和分布式训练。
LLM分布式训练 --- Megatron-LM
摩登都市天空---专栏
08-26 8454
数据并行模式会在每个worker之上复制一份模型，这样每个worker都有一个完整模型的副本。输入数据集是分片的，一个训练的小批量数据将在多个worker之间分割；worker定期汇总它们的梯度，以确保所有worker看到一个一致的权重版本。对于无法放进单个worker的大型模型，人们可以在模型之中较小的分片上使用数据并行。a）超过某一个点之后，每个GPU的batch size变得太小，这降低了GPU的利用率，增加了通信成本；
大语言模型LLM分布式框架：PyTorch Lightning框架（LLM系列14）
North_D的博客
02-28 1365
为此，分布式训练技术应运而生，而PyTorch Lightning作为一个轻量级的PyTorch封装库，极大简化了分布式训练的复杂性，使得科研人员能够更专注于模型构建和实验设计，而非底层分布式计算的实现。此外，还可以设置checkpoint回调，自动保存最优模型权重，确保训练过程的稳定性。Trainer类是PyTorch Lightning的核心组成部分，它包含了训练、验证、测试全流程的管理逻辑，并提供了一系列便捷的分布式训练配置选项，如选择分布式策略、设置多GPU并行、集成作业调度系统等。
大语言模型（LLM）分布式训练框架总结
2301_82275412的博客
05-09 1537
本文总结了深度学习框架技术是如何在硬件条件限制下，通过多年的技术升级，让 AI 模型的规模突破天际的。如果我们从更高的视角看，AI 模型的增长还有硬件，算法等领域的许多突破。整个生态正在飞速的往前发展。
大语言模型LLM分布式训练：TensorFlow攻略与深度解析（LLM系列04）
North_D的博客
02-26 1368
根据硬件环境和模型特性选择合适的策略。最新研究和技术趋势：追踪最新的分布式训练策略，如联邦学习、半同步SGD等，以及硬件层面的进步，如更快的网络互连和新型AI加速器，从而前瞻LLM分布式训练的未来发展方向。第三方工具集成：进一步探讨如何将其他开源库（如Horovod）与TensorFlow相结合，实现在更复杂的分布式环境下的协同训练，并对比各自的优势与适用场景。API，在保持模型准确性的前提下，通过混合使用FP16和FP32数据类型，大大减少显存占用，显著加快LLM的分布式训练速度。
分布式基础理论——CAP理论和BASE理论
weixin_44814196的博客
08-20 1252
由于分布式系统在CAP理论中最多只能同时满足两个特性，在实际场景中，大多数分布式系统会选择AP方案，即牺牲强一致性以确保系统的可用性和分区容错性。最终一致性允许多个节点的数据在短时间内存在差异，但经过一段时间后，这些数据会自动同步，最终达到一致的状态。因此，分布式系统理论上不可能选择 CA 架构，只能选择 CP 或者 AP 架构。因为 CA 架构的系统不再是标准的分布式系统，主数据库和从数据库不在进行同步。，C 和 A 是可以同时满足的，因为此时无需考虑分区容错性（P）的影响。
如何在分布式环境中实现高可靠性分布式锁
张彦峰的博客
08-22 3086
通过选择合适的分布式锁实现方式，可以有效提升系统的可靠性和一致性，确保业务逻辑的正确执行。在实际应用中，需要根据具体场景选择合适的实现方式，并进行适当的优化和调整，以应对分布式环境下的复杂挑战。
深度学习100问2-分布式假设在自然语言处理中的应用场景有哪些
yyq916的博客
08-24 483
比如英语“ I love apples”和法语“J'aime les pommes”里，“love”和“aime”、“apples”和“pommes”就会被认为是对应的词，这样就能帮助建立翻译模型啦。在不同主题的文章里，根据分布式假设把词变成向量后，用聚类等方法就能发现和科技主题相关的文章里会有“技术”“创新”“研发”等词，娱乐主题的文章里会有“明星”“电影”“音乐”等词，这样就能区分不同主题的文章啦。比如一篇影评里有“精彩”“出色”这些词，它们的向量就能体现出积极的情感倾向，这样就能判断影评是积极的啦。
分布式设计原理——CAP原则
0
08-27 886
总的来说，BASE理论面向的是大型高可用可扩展的分布式系统，和传统事务的ACID特性使相反的，它完全不同于ACID的强一致性模型，而是提出通过牺牲强一致性来获得可用性，并允许数据在一段时间内是不一致的，但最终达到一致状态。对复杂的SQL查询，特别是多表关联查询的需求 —— 任何大数据量的web系统，都非常忌讳多个大表的关联查询，以及复杂的数据分析类型的报表查询，特别是SNS类型的网站，从需求以及产品设计角 度，就避免了这种情况的产生。与此同时，与进程A无因果关系的进程C的数据访问则没有这样的限制。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 5058
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 1614
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 4506
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
【自由能文章系列（简单难度）】【开篇论文】自由能原理在多个领域的统一视角
最新发布
神经美学_茂森的博客
08-27 672
自由能原理作为一个统一的理论框架，成功地将多个看似不相关的领域（如神经科学、物理学、经济学、信息论、控制论、认知科学和生物学进化）联系在一起。通过自由能原理，我们可以更深刻地理解不同系统如何在给定条件下实现最优行为或状态。#自由能原理 #跨领域统一框架 #优化逻辑 #参数调节 #贝叶斯大脑 #预测编码 #最优控制 #注意力机制 #自然选择 #机器学习。：自由能原理、跨领域统一框架、优化逻辑、参数调节、贝叶斯大脑、预测编码、最优控制、注意力机制、自然选择、机器学习。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值