pytorch 多卡训练 accelerate gloo

AI算法网奇

已于 2023-12-30 12:52:45 修改

阅读量994

点赞数 9

分类专栏： pytorch知识宝典文章标签： pytorch 深度学习 python

于 2023-12-30 10:21:20 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/135302636

版权

pytorch知识宝典专栏收录该内容

499 篇文章 226 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Windows环境下使用PyTorch进行多卡训练的方法，包括利用accelerate库提升训练速度的实例，以及详细阐述了Gloo多卡训练的实现过程。

摘要由CSDN通过智能技术生成

accelerate 多卡训练 Windows例子

gloo 多卡训练

accelerate 多卡训练 Windows例子

import torch
from torch.nn.parallel import DistributedDataParallel as DDP
from torch.utils.data import DataLoader, RandomSampler
from accelerate import Accelerator


# 模拟数据集
class RandomDataset(torch.utils.data.Dataset):
    def __init__(self, size=100):
        self.data = torch.randn(size, 3)

    def __getitem__(self, index):
        return self.data[index]

    def __len__(self):
        return len(self.data)

if __name__ == '__main__':

    num_devices = torch.cuda.device_count()

    print(num_devices)
    num_devices=[0,1]
    # Manually set the device
    for i in

了解本专栏