不一样的gpu卡训练可以一起调用_Tensorflow2.x 多卡并行训练时间不减少问题分析...

最新推荐文章于 2023-04-20 15:38:11 发布
最新推荐文章于 2023-04-20 15:38:11 发布
阅读量553 收藏
点赞数
文章标签： 不一样的gpu卡训练可以一起调用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28864057/article/details/113327863
版权
本文分析了在Tensorflow2.x中使用tf.keras API与Custom Training Loop进行多卡并行训练时，训练时间不减少的问题。实验发现，.cache()操作对keras API和Custom Training Loop有不同的影响，导致GPU空闲时间不同。解决方案是将数据预处理后的结果缓存到内存中，以提高Custom Training Loop的效率。后续工作将深入研究底层原因和寻找更优解决方案。
摘要由CSDN通过智能技术生成

1f83d5ff2e26434dec2645bcf8cf9f9b.png

Tensorflow2.x 多卡并行训练时间不减少问题分析

在进行单机多卡并行训练的时候，发现多个有趣现象。

  1. 多卡训练一定比单卡速度快
  2. 使用tf.keras API在MirroredStrategy的并行策略下可以很好的加速训练
  3. 使用Custom Training Loop在MirroredStrategy并行策略下卡数增加不能缩短训练时间

cb876bbf7c90408ae86c80c284f9e173.png

实验描述

起初不知道具体造成这个现象的原因，我通过控制变量来debug. 硬件设备8 * v100 GPUs

如上表所示，数据集选用10类狗共1万张图片；固定每张GPU上的batch_size既（batch_size_per_replica). 变量包括：

  1. 使用TF.DatasetAPI进行数据读取预处理（input pipeline）时是否进行dataset.cache()操作。
  2. API选择：tf.kerasAPI VS custom training loop
  3. 训练时的GPU卡数
最低0.47元/天 解锁文章
寻找你83497
关注
tensorflow2.x学习笔记十二：使用多GPU训练模型
耐心的小黑的博客
08-30 3965
一、前言 如果使用多GPU训练模型，推荐使用内置fit方法，较为方便，仅需添加2行代码。 MirroredStrategy过程简介： 训练开始前，该策略在所有 N 个计算设备上均各复制一份完整的模型； 每次训练传入一个批次的数据时，将数据分成 N 份，分别传入 N 个计算设备（即数据并行）； N 个计算设备使用本地变量（镜像变量）分别计算自己所获得的部分数据的梯度； 使用分布式计算的 All-reduce操作，在计算设备间高效交换梯度数据并进行求和，使得最终每个设备都有了所有设备的梯度之和； 使用梯度求和
LLaMA Factory多卡微调的实战教程
最新发布
herosunly的博客
04-25 10万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
pytorch指定gpu训练_使用pytorch进行多型号GPU混插模型训练测试
weixin_39968722的博客
12-07 703
服务器配置服务器ip：10.1.12.179系统环境：centos7Gpu驱动版本：440.33.01GPU型号：Tesla P4：8G，Tesla T4：16G，如下图：测试环境docker-nvidia容器，Ubuntu18.04+cuda10.2+cudnn7，pytorch=1.2.0显卡运行测试分别进行了单GPU和多GPU的模型训练，并【成功通过】测试代码，运行输出结果如下：单GPU测试...
TensorFlow 2.0多卡gpu训练
lovelife110的博客
06-23 5619
环境 TensorFlow 2.0 python3.6 代码
TensorFlow 2.x 多显卡分布式训练
星空下
12-03 2040
当机器上有多个显卡时，TensorFlow如何最大限度的使用呢？目前TensorFlow并没有完美支持多显卡并行，它提倡的是数据并行而已。所以我们在买显卡的时候，尽可能选择单显卡的显存大一些的。 那么多显卡该如何实现数据并行呢？使用的就是下面的API tensorflow.distribute.Strategy 是一个可在多个 GPU、多台机器或 TPU 上进行分布式训练的 TensorFlow API。使用此 API，您只需改动较少代码就能分布现有模型和训练代码。 tf.distribute.St
GPU多卡并行训练
yaohaishen的专栏
09-28 1450
01 为什么要使用多GPU并行训练 简单来说，有两种原因：第一种是模型在一块GPU上放不下，两块或多块GPU上就能运行完整的模型（如早期的AlexNet）。第二种是多块GPU并行计算可以达到加速训练的效果。想要成为“炼丹大师“，多GPU并行训练是不可或缺的技能。 02 常见的多GPU训练方法 1.模型并行方式：如果模型特别大，GPU显存不够，无法将一个显存放在GPU上，需要把网络的不同模块放在不同GPU上，这样可以训练比较大的网络。（下图左半部分） 2.数据并行方式：将整个模型放在一块GPU
Tensorflow 2.x入门教程
「 虚幻私塾」
03-02 948
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 前言层次结构概述创建张量计算图自动微分数据输入Numpy构建数据生成器构建数据keras.utils.Sequence搭建模型顺序建模函数式API建模自定义建模损失函数自定义损失函数度量函数函数自定义度量类自定义度量优化器回调函数Tensorboard训练模型model
pytorch指定用多张显卡训练_pytorch 指定gpu训练与多gpu并行训练示例
weixin_29970399的博客
12-29 3107
pytorch 指定gpu训练与多gpu并行训练示例一. 指定一个gpu训练的两种方法：1.代码中指定import torchtorch.cuda.set_device(id)2.终端中指定CUDA_VISIBLE_DEVICES=1 python 你的程序其中id就是你的gpu编号二. 多gpu并行训练：torch.nn.DataParallel(module, device_ids=None,...
cpu并行和gpu并行_pytorch多gpu并行训练
weixin_39951930的博客
11-20 1346
目录目录pytorch多gpu并行训练1.单机多卡并行训练1.1.torch.nn.DataParallel1.2.如何平衡DataParallel带来的显存使用不平衡的问题1.3.torch.nn.parallel.DistributedDataParallel2.多机多gpu训练2.1.初始化2.1.1.初始化backend2.1.2.初始化init_method2.1.2.1.使用TCP初始...
AutoModelForCausalLM.from_pretrained如何实现多卡并行传输
01-06
AutoModelForCausalLM.from_pretrained方法可以实现多卡并行传输。具体实现步骤如下： 1. 首先，通过调用from_pretrained方法加载预训练模型，并传入相关参数，如模型路径、配置、数据类型、内存使用等。 2. 如果...
pytorch多GPU并行训练网络模型
weixin_42228294的博客
11-21 1074
训练网络模型无非分为几步： 加载数据集; 初始化网络模型; 初始化优化函数和定义学习率; 初始化模型参数; 保存模型参数; 我们采用多卡并行训练网络模型时，要注意第一点就是加载数据的batch_size = 原先batch_size * GPU个数，且batch_size不能小于GPU的个数。 首先要检测我们的服务器有几张显卡： USE_MULTI_GPU = True # 检测机器是否有多张显卡 if USE_MULTI_GPU and torch.cuda.device_count() >
Tensorflow2.x 多GPU训练
xuran
10-08 756
http://www.4k8k.xyz/article/qq_39507748/108303217
基于tensorflow2.x的多GPU并行训练
weixin_45885232的博客
04-20 2690
基于TensorFlow2.x的多GPU并行训练，给出了基本操作流程，基本内容解释，其中注意事项。
2.3 tensorflow单机多GPU并行
锦小年的博客
06-30 3万+
现在很多服务器配置都是单机上配有多个GPU卡。tensorflow默认占用全部的gpu的显存，但是只在第一块GPU上进行计算，这样对于显卡的利用率不高。 1. 指定运行GPU，不占用其他gpu的显存。 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" # 指定gpu编号，从0开始 这样可以在不同的卡上运行不同参数的程序，达到调参的目的。 2...
多GPU并行训练和单GPU训练网络精度对比
weixin_44523062的博客
11-07 2113
文章目录实验配置1 单2080s 86.4 / 94.42 单2080 86.0 / 94.53 利用torch的parallel两张并行 85.0 /93.7 实验配置 一张2080s, 一张2080 1 单2080s 86.4 / 94.4 re-ranking 2 单2080 86.0 / 94.5 3 利用torch的parallel两张并行 85.0 /93.7 ...
pytorch中使用多GPU并行训练
@bangbang的博客
08-11 3229
这里给出了两种，当然不局限于这两种。: 当模型特别大的时候，由于使用的GPU显存不够，无法将一个网络放在一块GPU里面，这个时候我们就可以网络不同的模块放在不同的GPU上，这样的话，我们就可以去训练一个比较大型的网络了,这就是的训练方式。:我们把整个模型放在一块GPU里面，并且将模型复制到每块GPU设备上，然后让它同时进行正向传播以及反向的误差传播。这种常见的训练方法叫做。第二种方法由于我们能够同时并行输入样本进行训练，这就相当于增加了训练的batch size,这样的话我们训练速度就加快了。...
RTX4090装机实测，目前已经运行了36个小时
Ai17316391579的博客
11-16 1640
其它各方面，我们会继续做测试，包括该卡的位置适应性、散热、压力测试、整机的长时间运行不宕机测试（72小时不宕机、76小时不宕机测试....），稳定和安全是大家最关心的，全面的整机调整和测试完成，最终找到最优，最稳定的配置方式，保证每款产品和每台服务器出厂达标，让使用者满意。相信接下来一段时间，随着很多问题的解决和优化，加上铺货跟上，价格也会稳定下来，目前因缺货而导致的价格偏高的问题也会得到解决，40系列会逐步被接受，何况30系列会越来越少呢！​RTX4090上手展示。​RTX4090装机。
pytorch使用多GPU训练常见问题、解决办法以及多卡保存模型时，模型预测得分不稳定的解决办法
凝眸伏笔的博客
11-09 2万+
一句话：多GPU训练模型，一句代码不能解决模型训练、eval、保存、加载的。单GPU跟多GPU的使用方式不太一样。（前提:使用huggingface.co去训练语言模型） 在pytorch上使用多个GPU（在同一台设备上，并非分布式）进行训练是件非常容易的事情，只要在源代码中添加（修改）两行代码即可。下面贴上官方教程给的示例代码。并在文末总结一些自己在使用多GPU实验时发现的问题。 官方tutorial——单GPU 把模型放在GPU上: device = torch.device("cuda:0"
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
Danger的博客
03-23 8453
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
torch.profiler 多卡并行
08-22
所以，torch.profiler 可以在多卡并行的训练中使用，通过对模型的性能分析来查找瓶颈所在。但具体如何使用 torch.profiler 进行多卡并行，请参考官方文档或其他相关资料。<span class="em">1</span><span class="em...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值