torch分布式训练

已于 2022-09-02 16:52:37 修改
阅读量535 收藏
点赞数 1
文章标签： pytorch
于 2022-09-02 15:29:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_Novice_/article/details/126662973
版权

参考：
通俗易懂的概念
详细的概念

命令行torch.ditributed.launch之后的参数：

nnodes：节点（机器）数
node_rank：节点（机器）的序号，从0开始
nproc_per_node：一个节点（单机）进程数【单机GPU数】【单机情况下只有这一个参数需要指定，其余可由launch通过环境自动配置】
master_addr：主进程rank0的IP地址
master_port：主进程rank0(注意不是主机)的端口号

代码os.environ中的参数：

【一般一个进程对应一个GPU】
WORLD_SIZE：所有节点的进程数【所有机器的GPU总数】
RANK：所有节点的全局进程号，从0开始【全局GPU号】
LOCAL_RANK：本节点上的局部进程号，从0开始【本机局部GPU号】
（单机多卡情况下，RANK=LOCAL_RANK）

ゞωáиɡホ辛鴻ゾ
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch 分布式训练 (DP/DDP/torchrun/多机多卡) ＜笔记总结＞
科研学习笔记！
06-29 2922
PyTorch 分布式训练问题总结： (DP/DDP/torchrun/多机多卡)
PyTorch Elastic ：PyTorch分布式训练框架-python
06-18
PyTorch Elastic ：PyTorch分布式训练框架 TorchElastic TorchElastic 允许您以容错和弹性的方式启动分布式 PyTorch 作业。 有关最新文档，请参阅我们的网站。 要求 torchelastic 需要 python3 (3.6+) torch etcd 安装 pip install torchelastic Quickstart 容错在 4 个节点上，8 个训练器/节点，总共 4 * 8 = 32 个训练器。 在所有节点上运行以下命令。 python -m torchelastic.distributed.launch --nnodes=4 --nproc_per_node=8 --rdzv_id=JOB_ID --rdzv_backend=etcd --rdzv_endpoint=ETCD_HOST:ETCD_PORT YOUR_TRAINING_SCRIPT.py (--arg1 ...训练脚本参数.. .) 弹性在 1 ~ 4 个节点上，8 个训练器/节点，总共 8 ~ 32 个训练器。 作业在 1 个节点健康后立即开始，您
accelerate launch/torchrun
人工智能曾小健
07-04 1212
采用[:]（例如node1.example.com:29400）的形式，指定C10d集合点后端应实例化和托管的节点和端口。要在同一主机上运行单节点、多工作线程的多个实例（单独的作业），我们需要确保每个实例（作业）都设置在不同的端口上，以避免端口冲突（或更糟糕的是，两个作业被合并为一项工作）。节点离开（缩小规模）：代理收到离开通知，所有现有的工作人员都停止，形成新的工作人员，并且所有工作人员都以新的和。多节点多工作线程：在参与训练的所有节点上使用相同的参数启动启动器。
torchrun常见参数
最新发布
大模型天花板
03-12 567
【代码】torchrun常见参数。
cpp-TorchMPITorch神经网络模型分布式训练
08-16
实现一个消息传递接口（MPI）包装器，可以轻松地在Torch深度学习框架内进行大规模的并行计算
pytorch使用horovod多gpu训练的实现
12-17
pytorch在Horovod上训练步骤分为以下几步： import torch import horovod.torch as hvd # Initialize Horovod 初始化horovod hvd.init() # Pin GPU to be used to process local rank (one GPU per process) 分配到每个gpu上 torch.cuda.set_device(hvd.local_rank()) # Define dataset... 定义dataset train_dataset = ... # Partition dataset a
VS Code中如何调试pytorch分布式训练脚本torch.distributed
钱彬的博客
08-23 1万+
一、问题描述 最近跑一些pytorch代码的时候遇到很多都是采用pytorch的分布式torch.distributed来训练的，相比于传统的nn.DataParallel，使用分布式的训练方式可以显著提升GPU使用率， 从而加快训练速度。 一般常见的pytorch分布式训练命令如下： $ export CUDA_VISIBLE_DEVICES=0,1 $ python -m torch.distributed.launch --nproc_per_node=2 tools/train.py ...
Pycharm命令行参数debug&error: unrecognized arguments报错的解决方案
热门推荐
lbling123的博客
05-25 3万+
Pycharm命令行参数debug&error: unrecognized arguments报错的解决方案   在学习github上的源码时发现，大佬们写的代码都是使用argparse对象生成命令行进行传参的，学习的过程中自然是想debug的，于是使用pycharm进行debug，具体方法如下：   1.依次点击工具栏Run->Edit-Configuration   2.在parameter中输入对应的参数   按照顺序输入参数后，有 ‘error: unrecognized argume
Pytorch - 弹性训练原理
whaosoft143ai的博客
08-12 5535
Pytorch在1.9.0引入了torchrun，用其替代1.9.0以前版本的。torchrun在功能的基础上主要新增了两个功能：Failover: 当worker训练失败时，会自动重新启动所有worker继续进行训练；Elastic: 可以动态增加或或删除node节点，本文将通过一个例子说明Elastic Training应该如何使用；...
执行Python文件时 error: unrecognized arguments
MISS_XDY的博客
11-09 2万+
原因是没有识别到参数或参数识别错误。参数是字符串的时候，加双引号。
pytorch-distributed:pytorch 分布式训练的快速入门和基准测试
08-04
Distribution is all you need Take-Away 笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例（单机多卡），需要的同学可以当作 quickstart 将需要的部分 copy 到自己的项目中（Github 请点击下面链接）： 简单方便的 nn.DataParallel 使用 torch.distributed 加速并行训练 使用 torch.multiprocessing 取代启动器 使用 apex 再加速 horovod 的优雅实现 GPU 集群上的分布式 补充：分布式 这里，笔者记录了使用 4 块 Tesla V100-PICE 在 ImageNet 进行了运行时间的测试，测试结果发现 Apex 的加速效果最好，但与 Horovod/Distributed 差别不大，平时可以直接使用内置的 Distributed。D
PyTorch弹性训练-Python开发
05-25
TorchElastic TorchElastic允许您以容错和弹性的方式启动分布式PyTorch作业。 有关最新文档，请访问我们的网站。 需求torchelastic需要pytho TorchElastic TorchElastic允许您以容错和弹性的方式启动分布式PyTorch作业。 有关最新文档，请访问我们的网站。 要求torchelastic需要python3（3.6+）torch etcd安装pip install torchelastic快速入门在4个节点上容错，每个节点8个教练，总共4 * 8 = 32个教练。 在所有节点上运行以下命令。 python -m torchelastic.distributed.launch --nnodes = 4 --nproc_per_node = 8
Pytorch 分布式训练 DistributedDataParallel （实操篇）
weixin_43229348的博客
04-15 6658
首先介绍一下分布式的基础概念： group：指进程组，默认为一组 backwend：指进程使用的通讯后端，Pytorch支持mpi、gloo、nccl、若是使用N卡推荐使用nccl world_size：指进程组中的进程数量 若使用单台机器多GPU，world_size表示使用的GPU数量 若使用多台机器多GPU，world_size表示使用的机器数量 rank：指当前进程的序号，用于进程间的通讯，rank=0表示为master。 若使用单台机器多GPU，rank表示当前正在使用的某个GPU 若使用多台机
多机多卡的基本概念
CV学习过程记录与分享
01-27 528
在整个分布式中的序号，每个进程都有一个rank和一个local_rank，rank是相对整个分布式而言（就是序号从0开始一直到整个分布式中最后一个GPU的数，类似于range(0,整个分布式GPU数量），这里不是相对于一个node而言，是所有node的GPU总和），local_rank是每个进程或者GPU相对属于哪个node而言的编号。WORLD_SIZE代表着使用进程数量(一个进程对应一块GPU)，这里RANK和LOCAL_RANK这里的数值是一样的，代表着WORLD_SIZE中的第几个进程（GPU）。
torch.distributed.launch多卡多机
billbliss的专栏
05-26 1546
master_addr：master节点的ip地址，也就是0号主机的IP地址，该参数是为了让 其他节点 知道0号节点的位，来将自己训练的参数传送过去处理。-master_port：master节点的port号，在不同的节点上master_addr和master_port的设置是一样的，用来进行通信。命令中的【–master_addr=‘172.18.39.122’】指的是0号机器的IP，在0号机器上运行的命令中【node_rank】必须为0。node_rank：节点的序号，从0开始。
pytorch常见分布式训练报错（另备忘模型分布式后，named_modules,前会加module.）
GZKPeng的博客
08-26 3692
1、–nproc_per_node=设置错误，比如就2块可见卡，设置3，那么代码中这行torch.cuda.set_device(args.local_rank)2、在使用“DistributedDataParallel”时，model没有先放在GPU上，而是默认的CPU。3、在优化器中添加参数时，获取参数应该用未DDP封装的model，如果有DDP封装的model就会报如下错误：......
关于集群分布式torchrun命令踩坑记录（自用）
Komach的博客
05-19 1万+
在训练或者微调模型的过程中，单节点的显存溢出，或者单节点的显卡较少，算力有限。需要跨节点用多个节点多块显卡来运行这项任务。这里就需要使用分布式命令，将这项任务分布到多个节点上来处理。
成功解决error:unrecognized argument: --local-rank=0
qq_43826289的博客
07-05 8774
然后就能正常运行了，之前看了网上好多的解决方法，在我这里都不管用，自己琢磨了好几天终于能够正常运行了。出现上述原因执行命令之前加上 --use-env即可，如。仅用于日常排错，希望有同样问题的小伙伴能够参考一下。
torchrun --nproc_per_node=${GPUS_PER_NODE} --nnodes=${WORKER_CNT} --node_rank=${RANK} \ --master_addr=${MASTER_ADDR} --master_port=${MASTER_PORT} cn_clip/training/main.py \ --train-data=${train_data} \ --val-data=${val_data} \ --resume=${resume} \ ${reset_data_offset} \ ${reset_optimizer} \ --logs=${output_base_dir} \ --name=${name} \ --save-step-frequency=${save_step_frequency} \ --save-epoch-frequency=${save_epoch_frequency} \ --log-interval=${log_interval} \ ${report_training_batch_acc} \ --context-length=${context_length} \ --warmup=${warmup} \ --batch-size=${batch_size} \ --valid-batch-size=${valid_batch_size} \ --valid-step-interval=${valid_step_interval} \ --valid-epoch-interval=${valid_epoch_interval} \ --lr=${lr} \ --wd=${wd} \ --max-epochs=${max_epochs} \ --vision-model=${vision_model} \ ${use_augment} \ --text-model=${text_model} \ --use-flash-attention # activate FlashAttention运行到这里卡住怎么回事
03-27
这是一条使用torchrun命令行工具训练AI模型的命令，其中包含了多个参数和选项，主要包括： - nproc_per_node：每个节点使用的GPU数量 - nnodes：使用的节点数量 - node_rank：当前节点的排名 - master_addr：主节点的地址 - master_port：主节点的端口号 - train-data：训练数据的路径 - val-data：验证数据的路径 - resume：恢复训练时的模型路径 - reset_data_offset：是否重置数据偏移量 - reset_optimizer：是否重置优化器状态 - logs：日志输出路径 - name：模型名称 - save-step-frequency：多少步保存一次模型 - save-epoch-frequency：多少轮保存一次模型 - log-interval：多少步输出一次日志 - report_training_batch_acc：是否输出每个batch的准确率 - context-length：输入文本的上下文长度 - warmup：学习率预热轮数 - batch-size：训练时每个batch的大小 - valid-batch-size：验证时每个batch的大小 - valid-step-interval：多少步验证一次 - valid-epoch-interval：多少轮验证一次 - lr：学习率 - wd：权重衰减 - max-epochs：最大训练轮数 - vision-model：使用的视觉模型 - use_augment：是否使用数据增强 - text-model：使用的文本模型 - use-flash-attention：是否使用闪光注意力机制

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值