【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练

最新推荐文章于 2024-08-28 21:43:54 发布
最新推荐文章于 2024-08-28 21:43:54 发布
阅读量136 收藏
点赞数
分类专栏： # LLM 文章标签： 学习 笔记 分布式 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61819793/article/details/132978248
版权

文章目录


必要性
llm数据量和参数量都太大，对算力的要求很高
单一设备的算力和容量受内存墙的限制难以跟上模型训练的需求
解决办法
使用多节点集群进⾏分布式训练，以提升算⼒

内存墙
即内存容量、多个级别内存的传输带宽、AI硬件之间的通信瓶颈(设备间的内存墙问题)限制了神经网络的设计
潜在原因：AI硬件专注于提高硬件的峰值算力，这是以简化或者删除其他部分（例如内存的分层架构）为代价的

常见并行策略

需要考虑的问题
协调集群中的计算和通信
用矩阵乘法的例子来说明如何实现神经网络的分布式训练
image.png

数据并行

特点
将数据x进行切分，每个设备上的模型w相同
图示如下
image.png
将两个设备的输出拼接得到完整输出
关键点
由于数据分发，反向传播时两个设备上的 ∂ l o s s ∂ w \frac{\partial loss}{\partial w} ∂w∂loss​ 不同，最终得到两个模型
解决办法
在反向传播中对各个设备上的梯度进行AllReduce处理来确保各个设备上模型的一致性
适用情况
由于反向过程中同步梯度会产生通信代价，于是数据并行策略适合数据集较大，模型较小的情况。
比如视觉分类模型ResNet50

AllReduce策略：跨设备地执行计算操作，从而保证各个设备上模型的一致性

模型并行

将模型w切分到各个模型，每个模型中有完整的数据
图示
image.png
完整输出需要拼接各个设备的输出
特点
无需多个设备之间的梯度AllReduce
但所有数据(input、output)将在多个设备之间广播，产生通信代价
适用情况
神经网络巨大的情况
语⾔模型，如 BERT，常采⽤模型并⾏

流水并行

将网络切分为多个阶段分发到不同的计算设备上，各个设备“接力”完成训练
图示
image.png
说明：这里展示的是一个4层网络(T1到T4)，GPU0完成T1、T2的计算，GPU1完成T3、T4的计算。GPU0完成计算后output给到GPU1
适合情况
仍然是解决神经网络巨大的问题

混合并行

以GPT-3的训练策略进行说明
训练被分为64个阶段进行流水并行，每个阶段在6台DGX-A100 主机上数据并行训练，每台主机有 8 张 GPU 显卡实现模型并行训练
image.png

参考资料

  1. AI算力瓶颈
  2. AllReduce策略介绍
  3. datawhale的so-large-lm学习资料
自律版光追
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM大模型能力与企业业务系统集成技术方案
禅与计算机程序设计艺术
06-28 149
随着人工智能技术的迅猛发展，大语言模型（Large Language Models, LLMs）如GPT-4、BERT等在自然语言处理领域取得了显著的成果。这些模型通过在海量数据上进行预训练，具备了强大的语言理解和生成能力。然而，如何将这些大模型的能力与企业业务系统进行有效集成，充分发挥其价值，成为了一个亟待解决的问题。LLM与企业业务系统的集成，本质上是将预训练的大语言模型通过API接口嵌入到业务系统中，使其能够处理业务请求，提供智能化的语言处理能力。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
禅与计算机程序设计艺术
07-04 1281
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
大语言模型（LLM）的进化树，学习LLM看明白这一张图就够了
05-12 7992
近期大语言模型迅速发展，让大家看得眼花缭乱，感觉现在LLM的快速发展堪比寒武纪大爆炸，各个模型之间的关系也让人看的云里雾里。最近一些学者整理出了 ChatGPT 等语言模型的发展历程的进化树图，让大家可以对LLM之间的关系一目了然。论文：https://arxiv.org/abs/2304.13712Github(相关资源)：https://github.com/Mooler0410/LLMsPracticalGuide进化的树图现代语言模型的进化树追溯了近年来语言模型的发展,并强调了一些最著名的模型。同一
大语言模型(LLM)和基于人类反馈的强化学习(RLHF)
机器会学习的博客
05-09 4334
语言模型如此伟大和神圣，回答问题，如此快速，如此精细。从科学到艺术，它们像星星一样闪耀，让人类看起来没有那么远。
【斯坦福cs324w】中译版 大模型学习笔记三 LLM危害篇
m0_61819793的博客
09-14 95
斯坦福CS324W课程中译版 datawhale组队学习笔记三
【斯坦福cs324w】中译版 大模型学习笔记四 LLM的数据
m0_61819793的博客
09-14 74
斯坦福CS324W课程中译版 datawhale9月组队学习笔记
大语言模型在金融风控中的应用
禅与计算机程序设计艺术
03-09 430
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
大语言模型原理基础与前沿：涌现能力
禅与计算机程序设计艺术
08-21 525
大语言模型（Large Language Models，LLMs）作为人工智能和自然语言处理领域的重大突破，在近年来引起了广泛关注。这些模型不仅在各种语言任务中展现出卓越的性能，还表现出了一种被称为"涌现能力"（Emergent Abilities）的令人惊叹的特性。涌现能力指的是模型在达到一定规模后，突然表现出的未经专门训练的新能力，这一现象对我们理解人工智能的本质和潜力具有深远的影响。本文将深入探讨大语言模型的原理基础，重点关注其涌现能力的形成机制、表现形式以及对未来AI发展的启示。
大语言模型应用指南：从人工智能的起源到大语言模型
禅与计算机程序设计艺术
06-27 770
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
【AI学习】在魔塔社区玩Ollama：部署GLM4和CodeGeeX4
bylander的博客
08-27 566
尝试了一下CodeGeeX4-ALL-9B 的Ollama部署。GPU要明显快很多，CPU的速度，也还凑合吧
html+css+js网页设计 个人博客模版 我的学习经历7个页面
qq_42431718的博客
08-28 254
html+css+js网页设计 个人博客模版 我的学习经历7个页面 网页作品代码简单，可使用任意HTML编辑软件（如：Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad++ 等任意html编辑软件进行运行及修改编辑等操作）。
vue.js学习步骤
m0_63178019的博客
08-23 1128
Vue.js 从一个简单的实验性项目成长为一个功能强大、社区活跃的前端框架，其发展历程展示了它对前端开发的持续创新和改进。通过引入先进的功能和不断扩展的生态系统，Vue.js 为开发者提供了一个高效、灵活的工具，满足了不同规模和复杂度应用的需求。
Golang学习笔记-Golang中的锁
qq_24428851的博客
08-25 1375
Go标准库的中的sync.Cond是一个条件变量，它可以让一系列的goroutine都在满足特定条件下时候被唤醒，每一个 sync.Cond 结构体在初始化时都需要传入一个互斥锁，我们可以通过下面的例子了解它的使用方法。因为请求的哈希在业务上一般表示相同的请求，所以上述代码使用它作为请求的键。这个是Go语言的扩展包中提供的另外一个信号量，它能够在一个服务中抑制对下游的多次重复请求，比如在redis的缓存雪崩中，能够限制对同一个 Key 的多次重复请求，减少对下游的瞬时流量。上述两个加起来，只占用8个字节。
学习大数据DAY44 帆软 report 配置
shh2000424的博客
08-23 1481
署，并设置服务器开机自启动，并请实操演示 得分点（完成得满分，未完成得。服务器容器的端口修改，并将内存调大，请实操演示 得分点（完成得。2 部署 tomcat web 服务。1 安装帆软 report v11。配置环境变量 推荐用自己的名字。等几秒查看下进程或者端口。3 显示 帆软 报表平台。分 服务器开机自启动。初始化设置下用户和密码。在它的第二行上面添加。
快速学习“堆“排序（C语言数据结构）
m0_75235246的博客
08-26 683
堆的实现其实并不难，难的是要用堆实现排序，也就是堆的运用。下面需要探究一下堆的排序是怎样的。如何利用堆进行升序或者降序的排序。
Python 爬虫爬取豆瓣电影列表信息，爬虫的原理，应用领域介绍学习
m0_50641264的博客
08-26 1798
Python 爬虫爬取豆瓣电影列表信息，爬虫的原理，应用领域介绍学习
先从路径优化开始学习FastPlanner之B样条曲线平滑路径（一）：从拉格朗日插值到B样条曲线
qq_51013517的博客
08-25 1045
B样条学习整理，易错点和关键点。我会列出学习他人的博客，但我不涉及具体推导，原理讲解，旨在于理解必须概念后写代码出效果和使用。
Kali学习（ms17-010、ms08-067漏洞复现）
最新发布
2401_82985722的博客
08-28 629
因为虚拟机有虚拟网卡，就像在windows系统里玩kali一样，他们的物理层公用一个设备-公用主机硬件，但在应用层上他们是相对独立的-互不干扰，可以同时使用。，通过一个公共的网关访问Internet，就像家里的路由器一样，多台设备连接上网，使用的是同一个外网IP。如果端口开放，就会进行完整的三次握手，成功建立链接，扫描结果中，STATE字段显示为 open。桥接就相当于，将创建的虚拟网卡，变成交换机，与主机的网卡连接，使kali可以上网。
大语言模型LLM：理解、发展与应用
大语言模型的核心在于它们的数据驱动特性，这意味着它们可以从未经人工处理的原始文本中自动学习语言特征。这样的学习过程是端到端的，即模型直接从输入文本到输出文本，无需中间的人工特征工程。此外，由于模型能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值