DistributedDataParallel笔记

最新推荐文章于 2024-03-05 00:10:03 发布

AI算法网奇

最新推荐文章于 2024-03-05 00:10:03 发布

阅读量3.5k

点赞数

分类专栏： pytorch知识宝典文章标签： pytorch 深度学习神经网络

本文链接：https://blog.csdn.net/jacke121/article/details/108959963

版权

pytorch知识宝典专栏收录该内容

508 篇文章 230 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文主要介绍了PyTorch中的DistributedDataParallel使用过程中遇到的问题及解决方案，包括初始化过程、DataLoader设置、模型保存、多GPU训练中的注意事项，以及报错处理等。

摘要由CSDN通过智能技术生成

torch1.6好像不支持了

DataParallel 笔记_jacke121的专栏-CSDN博客

保存模型：

import torch

if __name__ == '__main__':


    aaaa=[]

    model_path="best.pth"
    if isinstance(aaaa,torch.nn.parallel.DistributedDataParallel):

        torch.save(aaaa.module.state_dict(),model_path)
    else:
        torch.save(aaaa.state_dict(), model_path)

其他例子：

moco/train.py at 6edee10d2ceb2e

了解本专栏