pytorch Default process group is not initialized

AI算法网奇

已于 2022-06-27 02:08:03 修改

阅读量2.4k

点赞数 1

分类专栏： pytorch知识宝典文章标签：大数据 pytorch

于 2022-06-27 01:56:07 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/125476898

版权

pytorch知识宝典专栏收录该内容

500 篇文章 227 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

在运行PyTorch项目时遇到'Default process group is not initialized'的错误。该错误通常发生在进行分布式训练但未正确配置时。解决方法包括在单卡训练时关闭torch.distributed，将rank参数设为-1，或者确保不启动未使用的syncBN。通过调整这些设置，可以避免错误并顺利执行代码。

摘要由CSDN通过智能技术生成

报错：Default process group is not initialized

报错代码，yolov5训练时不报错，参数配置错了，

    with torch_distributed_zero_first(rank):
        dataset = LoadImagesAndLabels(path, imgsz, batch_size, augment=augment,  # augment images
                                      hyp=hyp,  # augmentation hyperparameters
                                      rect=rect,  # rectangular training
                                      cache_images=cache, single_cls=opt.single_cls, stride=int(stride), pad=pad, image_weights=image_weights, prefix=prefix,data_type=data_type)


@contextmanager
def torch_distributed_zero_first(local_rank: int):
    """
    Decorator to make all processes in d