动手学深度学习33 单机多卡并行

最新推荐文章于 2024-07-28 15:37:27 发布
最新推荐文章于 2024-07-28 15:37:27 发布
阅读量411 收藏 3
点赞数 10
分类专栏： 动手学深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42831564/article/details/139631390
版权

单机多卡并行

更多的芯片
https://courses.d2l.ai/zh-v2/assets/pdfs/part-2_2.pdf

多GPU训练
https://courses.d2l.ai/zh-v2/assets/pdfs/part-2_3.pdf

在这里插入图片描述

当transformer模型很大，有100GB的时候只能用模型并行。
在这里插入图片描述

数据并行，拿的参数是完整的？
在这里插入图片描述
在这里插入图片描述

QA

1 当有一块卡显存更大的时候，可以把数据批量设大一些，单独给大显存的卡数据多一些。
2 梯度累加起来。
3 存储模型，梯度。中间数据量的大小取决于数据批量大小。批量变小，矩阵运算变小，性能会低。
4 模型并行可以做到一定程度的并行，并行程度会低
5 独立显卡会比集成显卡快很多。
6 无人车关心功耗，希望拿到server端的效果但是功耗要低。

陌上阳光
关注
  • 10
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
「分布式训练」+ DDP单机多卡并行指南 PPT
04-10
在这个"「分布式训练」+ DDP单机多卡并行指南"中，我们将深入探讨DDP的工作原理以及如何在实践中应用。 分布式训练的核心目标是通过分割工作负载来加速模型的训练过程。在单机多卡环境中，每块GPU都会处理一部分...
「分布式训练」+ DDP单机多卡并行指南
07-20
掌握DDP的原理和实践，可以帮助你充分利用单机多GPU的计算能力，加快深度学习模型的训练速度。在实际应用中，应根据硬件环境和需求选择合适的通信协议，并优化启动方式，以实现最佳的训练性能。
33 单机多卡并行【动手学深度学习v2】
hlllllllhhhhh的博客
03-14 132
1、单机多卡2、数据并行和模型并行3、数据并行的流程：读取一个数据块--拿回参数--计算梯度--发出梯度--更新梯度4、总结。
33 单机多卡并行 [动手学深度学习v2]
gpx33333的博客
12-18 649
常用并行方案： 数据并行； 模型并行； 通道并行（数据+模型并行）； 数据并行：将小批量分成nnn块，每个GPU拿到完整参数计算一块数据的梯度；通常性能更好。 模型并行：将模型分成nnn块，每个GPU拿到一块模型计算它的前向和反向结果；通常用于模型大到单GPU放不下。 当一个模型能用单卡计算时，通常使用数据并行拓展到多卡上；模型并行则用在超大模型上。 ...
深度神经网络硬件 GPU单机多卡并行 动手学深度学习v2
AI架构师易筋
04-20 854
1. 单机多卡并行 GPU 安装靠得太紧，容易烧掉。下面这张图，用了一个月就烧掉了一块GPU。 参考 https://www.bilibili.com/video/BV1vU4y1V7rd/?spm_id_from=trigger_reload
【动手学】33 单机多卡并行QA
梦想是要有的，万一实现了呢！
12-21 105
问题17:有个问题，比如我在4块GPU训练，后来我有2块更大显存的GPU,那我什么都不变，换成2块大显存的GPU训练，会有什么影响吗？ 答：做数据并行 问题18:小批量分到多GPU计算后，模型结果怎么合到一诀？ 答：梯度加起来，模型只在一个地方被更新 可题19:数据拆分并行以后，中间需要存储的数据量会增加吗？会降低性能吧？ 答：模型和梯度增加了，中间数据量是不会增加，中间GPU数据样本那少了，数据量应该会低，性能会低 问题20:数据并行的时候，不同gpu也是拷贝了同一个模型吗？那是不是数据并行才
TensorFlow深度学习并发加速训练
01-06
TensorFlow深度学习并发训练 TensorFlow 2.0 分布式训练 单机多卡训练: MirroredStrategy tf.distribute.MirroredStrategy 是一种简洁且高性能的，数据并行的同步式分布式策略，主要支持多个 GPU 在同一台主机上训练...
保姆教程白嫖GPU T4*2！Kaggle实现chatglm微调任务-单机多卡训练测试
05-27
在这里，我们特别关注的是T4 GPU，这是一种由NVIDIA推出的基于图灵架构的高性能显卡，特别适合深度学习任务，因其在处理大型神经网络时表现出的高效能和低延迟而受到欢迎。 ChatGLM是用于生成对话的语言模型，它...
一个采用全新架构设计的工业级通用深度学习框架
05-09
这个框架的独特之处在于其创新的架构，旨在打破传统的单机多卡训练模式，实现分布式训练的无缝集成，从而极大地提高了模型训练的速度和规模。 在架构上，OneFlow采用了一种名为“计算图编译”的方法，这使得它能够...
LSTM详解总结
GDHBFTGGG的博客
07-25 351
LSTM（Long Short-Term Memory）是一种用于处理和预测时间序列数据的递归神经网络（RNN）的改进版本。其设计初衷是为了解决普通RNN在长序列训练中出现的梯度消失和梯度爆炸问题。以下是对LSTM的详细解释，包括原理、公式、功能、优势等。
零基础学习深度学习以及模块缝合总结
GDHBFTGGG的博客
07-25 690
零基础学习深度学习以及模块缝合总结
注意力机制和自注意力机制模块的相关代码实现/缝合模块/即插即用模块
GDHBFTGGG的博客
07-25 553
缝合模块/即插即用模块
GPU驱动、CUDA 、cuDNN 和CUDA Toolkit之间的关系（深度学习小白必懂）
weixin_44115575的博客
07-23 1331
GPU驱动、CUDA、cuDNN和CUDA Toolkit之间有着紧密的关系，它们共同构成了一个完整的GPU编程和深度学习开发环境。 在最初配置anaconda环境时一直搞不明白它们之间的关系。所以根据自己的理解，通俗详细解释它们各自的角色和相互间的关系，并且列举了一些在anaconda虚拟环境中的例子。 不对的地方希望大家指正。
深度学习loss
weixin_45706801的博客
07-25 835
是 PyTorch 中的一个类，它实现了将 Sigmoid 激活函数和二元交叉熵损失函数合并的功能。这个损失函数接受两个输入：模型的原始输出（未经 Sigmoid 激活）和目标（真实）标签，然后自动计算损失值。由于它在内部集成了 Sigmoid 激活函数，因此可以避免在正向和反向传播过程中可能出现的梯度爆炸或梯度消失问题。是 PyTorch 中一个用于二元分类问题的强大损失函数，它通过结合 Sigmoid 激活函数和二元交叉熵损失函数，提高了训练的效率和数值稳定性。
2024钉钉杯A题思路详解
全栈川川
07-26 1908
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1758
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
昇思25天学习打卡营第1天|快速入门
最新发布
07-28 459
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 773
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
pytorch单机多卡并行
05-24
如何实现？ 答：PyTorch 单机多卡并行的实现需要使用 DataParallel 或 DistributedDataParallel 模块。其中，DataParallel 可以在单机多卡之间进行并行处理，但是它的缺点是无法有效地利用所有卡的存储器和计算资源。而 DistributedDataParallel 是一种更好的选择，它可以将模型数据切分成多个块，并将它们分发到多个 GPU 上进行并行计算，从而充分利用多个 GPU 的存储器和计算资源。同时，DistributedDataParallel 还可以通过采用通信优化算法来降低通信开销，从而进一步提升训练速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值