if cfg.MODEL.DIST_TRAIN: torch.cuda.set_device(args.local_rank)

于 2023-02-16 20:49:50 发布
阅读量152 收藏 1
点赞数
文章标签： 深度学习 人工智能 机器学习 python 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35750483/article/details/129577583
版权

这行代码的作用是，如果cfg.MODEL.DIST_TRAIN为真，则设置当前进程使用的GPU设备为args.local_rank所指定的设备。这通常用于分布式训练中，确保每个进程使用不同的GPU设备，避免GPU资源竞争。

李多田
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch基础：torch.cuda.set_device函数
前进，才知道自己的渺小
05-13 1631
torch.cuda.set_device函数用于设置当前使用的cuda设备，在当拥有多个可用的GPU且能被pytorch识别的cuda设备情况下（环境变量CUDA_VISIBLE_DEVICES可以影响GPU设备到cuda设备的映射）。
torch.device和torch.cuda.set_device()
最新发布
weixin_42559117的博客
10-29 4105
2. 如果使用torch.cuda.set_device('cuda:0')的方式，则改用。3. 即前者需要采用to()方法，而后者可以使用cuda()方法，而无需传递参数。1. 使用torch.device的方式设置显卡之后，需用使用。的方式将模型和数据放到GPU上。的方式将模型和数据加载到显卡中。
pytorch分布式训练小结
MSFollower的博客
08-24 6397
经过了几天的学习和总结，得到了一小点知识。破除理解上的障碍，希望和大家共同分享。 当前的pytorch分布式训练，主要使用两种方法：DataParallel和DistributedDataParallel。本篇文章对这两种方法的使用流程和关键步骤进行介绍，不涉及很复杂的原理和内核，仅仅方便大家理解和使用。 DistributedDataParallel from torch.utils.data.distributed import DistributedSampler from torch.n..
MMDetection3D之DETR3D源码解析：整体流程篇
AI训练师中的点滴
06-14 2266
DETR3D
MMdetection之train.py源码详解
weixin_45912366的博客
04-29 8586
目录 一、tools/train.py 二、源码详解 三、核心函数详解 （一）build_detector（mmdet/models/builder.py） （二）build_dataset（mmdet/datasets/builder） （三）train_detector（mmdet/apis/train.py） （四）set_random_seed： （五）get_root_logger： 一、tools/train.py 可选参数: # =========== op..
arm.rar_LPC2103_flash.i_app_cfg.h lpc21
09-21
标题中的"arm.rar_LPC2103_flash.i_app_cfg.h lpc21"涉及到的是基于ARM架构的LPC2103微控制器在固件编程中的应用，特别是与闪存编程（Flash programming）和应用配置相关的知识。LPC2103是NXP（原飞利浦）公司生产的...
HB_3.51_Diuuude.rar_HB 3._Helbreath_Helbreath 3.51_site:www.pudn
09-20
《HB 3.51: 深入解析Helbreath游戏引擎与Diuuude版本》 在游戏开发的世界中，有一款名为Helbreath的游戏，它以其独特的策略和角色扮演元素吸引了众多玩家。HB 3.51 Diuuude是这款游戏的一个特定版本，这个版本是由...
uCOS-II2.8.rar_UCOS xp_ucos ii app_cfg.h
09-24
本文将深入探讨如何在Windows XP系统上，利用经典的VC++6集成开发环境来调试和应用uCOS-II的2.8版本，同时关注 uc_oS_ii_app_cfg.h 配置文件的应用。 首先，我们来看uCOS-II的核心概念。它提供了一个多任务环境，...
qrp.rar_demo qrp_qrp.rar_打印 delphi_报表
09-23
- QrpViewer.cfg：可能是一个用于查看QuickReport报表的配置文件，可能包含了用户界面设置或者打印预览的参数。 - qreport.dcr：这是QuickReport的动态链接库资源文件，用于在运行时支持报表的显示和打印。 - ...
gpio-cfg.rar_If...
09-23
标题中的"gpio-cfg.rar_If..."暗示了这个压缩包可能包含了一个关于GPIO配置的C语言源代码文件，其中涉及到了条件编译的概念。 描述中的"forward declaration if gpio-core.h hasn't been included."提示我们，这个...
在tensorflow中设置使用某一块GPU、多GPU、CPU的操作
09-18
今天小编就为大家分享一篇在tensorflow中设置使用某一块GPU、多GPU、CPU的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-12-3
m0_59850509的博客
12-25 603
2021SC@SDUSC
pytorch的多GPU训练的两种方式
Mr_health的博客
02-08 8007
方法一：torch.nn.DataParallel 1. 原理 如下图所示：小朋友一个人做4份作业，假设1份需要60min，共需要240min。 这里的作业就是pytorch中要处理的data。 与此同时，他也可以先花3min把作业分配给3个同伙，大家一起60min做完。最后他再花3min把作业收起来，一共需要66min。 这个小朋友就是主GPU。他的过程是：分发 ->并行运算->结果回收。 这就是pytorch要使用的第一种并行方法：torch.nn.DataPa.
torch distributed.init out of memory
jacke121的专栏
05-13 1845
torch distributed.init out of memory 设置环境gpu： os.environ["CUDA_VISIBLE_DEVICES"] = "1, 2, 3" local_rank=0 torch.cuda.set_device(local_rank) cuda(0)默认是第0块显卡， 但是设置CUDA_VISIBLE_DEVICES后： cuda(0)就是CUDA_VISIBLE_DEVICES里面的第一个gpu。 ...
pytorch深度学习单卡训练和多卡训练
qq_35653657的博客
07-26 4679
首先会把所有数据分发到列表上的GPU进行训练，然后再gather到主GPU计算loss。最后在shell后台使用的下面语句运行(暂时我只发现这种方法运行,其他方法还需要寻找)
pytorch一机多卡训练
赵凯月的博客
07-17 3383
1. 一机多卡（one matchine multi-GPU） 1.1 DataParallel DataParallel（DP）：Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码。 有个不能接受的缺陷是：DataParallel是基于Parameter server的算法，所有的loss都在主卡上计算，负载不均衡的问题比较严重，有时在模型较大的时候（比如bert-large），主卡占满了，其他的卡一半都占不到，及其浪费资源。 值得注意的是，模型和数据都需要先 load
Pytorch如何切换 cpu 和 gpu 的使用
热门推荐
qq_42549774的博客
02-27 1万+
前言，在pytorch中，当服务器上的gpu被占用时，很多时候我们想先用cpu调试下代码，那么就需要进行gpu和cpu的切换。 方法1：x.to(device) 把 device 作为一个可变参数，推荐使用argparse进行加载： 使用gpu时： device='cuda' x.to(device) # x是一个tensor，传到cuda上去 使用cpu时： device='cpu' x.to(device) # x是一个tensor，传到cuda上去 方法2：使用x.cuda()+C.
【mmopenlab系列使用DP模式进行单机多卡训练】windows下命令行和linux下面的 .sh 文件使用一文解决 | 商汤科技
m0_61139217的博客
08-11 2864
普通的单机单卡训练模式难以解决模型训练速度过慢的问题，对此mmopenlab的代码文档提供了针对DP和DDP的 .sh 文件。其中，dist_train.sh 对应的是DP模式的单机多卡训练方式；slurm_train.sh 对应的是DDP模式的多机多卡训练方式。注：这里本文只看了单机多卡训练模式。DP模式的命令行命令使用以及环境变量分析原。...
pytorch中分布式训练dist的用法
qq_37087409的博客
08-24 2395
https://www.jianshu.com/p/be9f8b90a1b8 https://pytorch.org/tutorials/intermediate/dist_tuto.html#point-to-point-communication
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值