pytorch
文章平均质量分 96
9eKY
这个作者很懒,什么都没留下…
展开
-
PyTorch分布式DPP启动方式(包含完整用例)
PyTorch 单卡到分布式基础--DDP使用1 基本使用2 分布式引入的参数2.1 rank、local_rank、node等的概念2.2 通信参数与模式2.3 分布式任务中常用的函数3 启动的方式3.1 单机多卡3.2 多机分布式3.2.1方式一:每个进程占用一张卡3.2.2方式二:单个进程占用多张卡3.2.3方式三:利用launch4 提速参数与隐藏的简单问题4.1 dataloader提速的参数4.2 checkpoint的保存与加载4.3 dist.init_process_group的init_原创 2021-03-29 10:15:44 · 4788 阅读 · 4 评论 -
PyTorch分布式DPP涉及的基本概念与问题
PyTorch分布式DPP涉及的基本概念与问题1 分布式引入的参数1.1 rank、local_rank、node等的概念1.2 通信参数与模式1.3 分布式任务中常用的函数2 提速参数与隐藏的简单问题2.1 dataloader提速的参数2.2 checkpoint的保存与加载2.3 dist.init_process_group的init_method 方式2.4 进程内指定显卡2.5 CUDA初始化的问题本篇主要讲解DDP的一些概念和问题,主要涵盖如下:1、参数rank、local_rank、no原创 2021-03-29 10:34:24 · 11149 阅读 · 5 评论