VSCode debug torchrun方式的多卡python代码

{

    "configurations": [
     {
         "name": "Python: Current File",
         "type": "debugpy",
         "request": "launch",
        // 设置 torchrun 命令的参数
         "program": "/home/xxx/anaconda3/envs/xxx/lib/python3.9/site-packages/torch/distributed/run.py",
         "console": "integratedTerminal",
         "justMyCode": true,
         "args": [
             "--nproc_per_node=1",
             "--nnodes=1",
             "--rdzv_backend=c10d",
             "--rdzv_endpoint=localhost:12080",  // 设置 torchrun 命令的参数
             "/home/xxx/code/xx/tasks/train.py", // 要运行的python文件
             "scripts/config.py",// python文件输入的参数
             "model.stage=1", 
             "scheduler.epochs=6",
             "optimizer.lr=2e-4",
             "model.max_txt_len=32",
             "model.add_scene_token=False",
             "evaluate=False",
         ],
         "env": {
             "CUDA_VISIBLE_DEVICES": "0, 1" //环境相关的参数在这里
         },
     }
 ]

}

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用中提到了使用多机多卡的指导说明,根据这个说明,可以模拟出4台机器,每台机器有2个GPU。引用和引用给出了具体的命令行代码示例。 对于docker torchrun多机多卡的使用,可以按照以下步骤进行操作: 1. 首先,确保每台机器上都安装了Docker和Torch。 2. 在每台机器上创建一个Docker镜像,其中包含了所需的环境和依赖。 3. 使用多机多卡方式启动Docker容器。可以根据需要,使用不同的CUDA_VISIBLE_DEVICES参数来指定每个容器中要使用的GPU。 4. 在每个容器中运行torch.distributed.launch命令,以启动多机多卡训练过程。在命令中,需要指定nproc_per_node参数来设置每个节点上使用的GPU数量,nnodes参数来设置总共的节点数,node_rank参数来指定当前节点的编号,master_addr参数来指定主节点的地址,master_port参数来指定主节点的端口号,train.py参数来指定训练脚本的路径,以及其他必要的训练参数。 需要注意的是,以上步骤中的具体命令和参数可能会因实际情况而有所不同,需要根据实际需求进行调整。同时,还需要确保各个节点之间可以相互通信,以便进行多机多卡的训练。 总结起来,docker torchrun多机多卡的使用需要按照上述步骤配置每台机器的Docker环境和镜像,然后通过运行torch.distributed.launch命令启动多机多卡训练过程。通过合理设置参数,可以实现在多台机器上同时利用多个GPU进行训练。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [目标检测 YOLOv5 - 多机多卡训练](https://blog.csdn.net/flyfish1986/article/details/119786227)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值