pytorch 分布式训练

一壶浊酒..

已于 2023-07-04 23:06:07 修改

阅读量1.1k

点赞数

分类专栏： # pytorch 文章标签：分布式 python pytorch

于 2023-07-04 22:59:09 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_40107571/article/details/131541502

版权

pytorch 专栏收录该内容

57 篇文章 5 订阅 ¥39.90 ¥99.00

订阅专栏

本文详细介绍了PyTorch中的分布式训练，包括模型并行与数据并行的策略，以及同步更新和异步更新的区别。重点讨论了torch.nn.DataParallel和DistributedDataParallel（DDP）的使用，指出DataParallel的局限性和DDP的优势。文中还详细阐述了单机多卡和多机多卡的分布式训练实现，并提供了参考资源和实践指南。

摘要由CSDN通过智能技术生成

分布式训练分为这几类：

按照并行方式来分：模型并行 vs 数据并行
按照更新方式来分：同步更新 vs 异步更新
按照算法来分：Parameter Server算法 vs AllReduce算法

torch.nn.DataParallel

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0):

这个函数主要有三个参数：

module：即模型，此处注意，虽然输入数据被均分到不同gpu上，但每个gpu上都要拷贝一份模型。
device_ids：即参与训练的gpu列表，例如三块卡， device_ids = [0，1，2]。
output_device：指定输出gpu，一般省略。在省略的情况下，默认为第一块卡，即索引为0的卡。此处有一个问题，输入计算是被几块卡均分的，但输出loss的计算是由这一张卡独自承担的，这就造成这张卡所承受的计算量要大于其他参与训练的卡。

了解本专栏

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

一壶浊酒.. CSDN认证博客专家 CSDN认证企业博客

码龄7年

468: 原创

1万+: 周排名

6049: 总排名

47万+: 访问

: 等级

5368: 积分

1470: 粉丝

612: 获赞

74: 评论

1488: 收藏

私信

关注

热门文章

分类专栏

最新评论

python tkinter 简介
失心疯_2023: 博主文章写的非常详细，图文并茂，优质好文！学到了很多新的知识点，感谢博主分享！ ============================================ 👉👉 Python零基础入门教程合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/131907622 👉👉 Python项目虚拟环境(超详细讲解) 👈👈：https://blog.csdn.net/weixin_50296259/article/details/142168781 👉👉 Python GUI(PyQt5)文章合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/130674350 👉👉 Oracle数据库文章合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/130739064 👉👉 优质资源下载合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/130674430 👉👉 Python爬虫从入门到入狱系列合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/135698886
python tkinter 简介
失心疯_2023: 博主文章写的非常详细，图文并茂，优质好文！学到了很多新的知识点，感谢博主分享！ ============================================ 👉👉 Python零基础入门教程合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/131907622 👉👉 Python项目虚拟环境(超详细讲解) 👈👈：https://blog.csdn.net/weixin_50296259/article/details/142168781 👉👉 Python GUI(PyQt5)文章合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/130674350 👉👉 Oracle数据库文章合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/130739064 👉👉 优质资源下载合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/130674430 👉👉 Python爬虫从入门到入狱系列合集 👈👈：https://blog.csdn.net/weixin_50296259/article/details/135698886
手把手教你学51单片机-点亮你的LED
Raoff: 为什么我不能成功点亮
Python logging模块的基本使用
北风之神c: 总结的很全面，写得赞，博主用心了。此国产日志 https://nb-log-doc.readthedocs.io/zh_CN/latest 使用原生 loggng封装，兼容性和替换性100%,大幅简化logging的使用。 1、日志能根据级别能够自动变彩色。 1 2、print自动变彩色。 3、日志和print在pycahrm控制台的输出都自动可以点击跳转到文件和行号。 4、多进程日志切割安全，文件日志写入性能高。 5、入参简单，能一键自动记录到多种地方。 6、 nb_log 兼容包含loguru色彩模式,loguru只是nb_log的子集之一. 相比 loguru 有10胜。 pip install nb_log 。
python Canny边缘检测
白社会社长: 第二步好像没有用到sobel算子，这是为什么呢？

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

一壶浊酒.. 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。