【进程丢失】pytorch DDP分布式训练10个epoch就丢失1个GPU进程

最新推荐文章于 2024-01-06 17:54:32 发布
最新推荐文章于 2024-01-06 17:54:32 发布
阅读量971 收藏 1
点赞数
分类专栏： # DL-报错 NVIDIA 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qxqxqzzz/article/details/117397086
版权
DL-报错 同时被 3 个专栏收录
122 篇文章 11 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
运维
66 篇文章 1 订阅
订阅专栏
NVIDIA
12 篇文章 0 订阅
订阅专栏
在使用PyTorch的DDP分布式训练时，遇到训练到特定epoch后丢失GPU进程的问题。初步分析可能是由于batch size过大导致显存溢出或内存泄漏。尝试解决方案包括减小batch size和监控内存使用。通过日志分析，确认第二次问题由内存耗尽触发了系统杀死进程。经过代码调整，内存泄漏问题似乎得到缓解。
摘要由CSDN通过智能技术生成

文章目录

现象

第一次

Resnet50 + Arcsoftmax + deepglint *2 训练10个epoch之后，会丢失一个GPU进程，然后训练程序卡住不动。重复发生，并且每次都是训练到10个epoch时发生，注意每次掉进程的卡bus id不一样
Pytorch 版本 1.7.0 ，卡：titan rtx x 8

第二次

Resnet100 + Arcsoftmax + (megaface + vggface2 + deepglint) *2 训练1个epoch （还没到2个epoch）之后
服务器锁屏tts界面显示：Out of memory，系统杀掉了进程
在这里插入图片描述

原因分析

第一次-原因分析

很奇怪的bug，根据第一次日志，目前分析的原因：

  1. batch size过大，每张卡显存占的太满，导致训练的时候显存爆
了解本专栏 订阅专栏 解锁全文 超级会员免费看
城俊BLOG
关注
专栏目录
订阅专栏
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
09-18
当代码中检测到有多个GPU（torch.cuda.device_count()>1）时，就可以通过创建nn.DataParallel的实例来包装你的模型。通过nn.DataParallel，模型会在每个GPU上复制一份，输入的tensor会被自动分割，这样每个GPU只负责...
Pytorch 分布式并行DDP 卡死 挂起
qq_40947610的博客
11-30 8254
Pytorch 分布式并行DDP 卡死，设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。
pytorch单机多卡及常见问题
莫大逗比嘟嘟
11-15 5184
pytorch分布式，常见问题解决。
Python Windows下分布式进程的坑(分布式进程的一个简单例子)
Steve Wang's blog
12-27 7839
下面这个例子基于”廖雪峰的Python教程：分布式进程”原例在Linux上运行，直接在Windows上运行会出现错误，下面是针对原例进行的改进，使之能成功运行。 https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431929340191970154d52b9d484b88a7
（已解决）python multiprocess 多进程操作mysql时丢失数据
花木兰
05-27 2826
背景 用python multiprocess 开了100个进程写数据库，共享一个链接 发现有时候 遗漏数据 不报错 lock.acquire() conn.execute(sql) lock.release() 当改成单独链接的时候报错 Deadlock found when trying to get lock; try restarting transaction ...
pytorch多GPU分布式训练（DDP），cuda0 out of memory，cuda0减少batch_size的注意事项。
m0_37833297的博客
12-11 4439
当我们使用distributedDataParallel（DDP）进行分布式训练的时候，假设单卡训练时，一张卡一个batch能装4张图片，并且占得比较满。而多卡训练时，由于cuda0除了要进行前向传播等还得负责通信，cuda0的空间就不够大了。 这时，我们可以选择减少cuda0上的batch_size大小，比如改为1. 假如我们有8张卡，设置的总的batch_size = 32，原始设置的每张卡batch_size=4。 以github上这个文件为例 截取需要改的一段： parser.add_argumen
Anaconda环境下PyTorch分布式训练库的安装与配置
最新发布
08-15
PyTorch提供了一套完整的分布式训练库，支持多种后端，如Gloo、NCCL等，并与Anaconda环境完美集成。本文将详细介绍如何在Anaconda环境中安装和配置PyTorch的分布式训练库，以实现高效的模型训练。 PyTorch的分布式...
PyTorch Elastic ：PyTorch分布式训练框架-python
06-18
PyTorch Elastic ：PyTorch分布式训练框架 TorchElastic TorchElastic 允许您以容错和弹性的方式启动分布式 PyTorch 作业。 有关最新文档，请参阅我们的网站。 要求 torchelastic 需要 python3 (3.6+) torch etcd ...
基于pytorch的单机多卡分布式训练源码
09-06
在PyTorch中，单机多卡分布式训练是一种优化深度学习模型训练效率的方法，它能够充分利用多GPU资源，加速模型的收敛过程。本教程将详细解释如何使用PyTorch实现单机多卡分布式训练，主要参考提供的源码文件`pytorch_...
Pytorch分布式训练教程
03-30
Pytorch分布式训练教程
NanoDet代码逐行精读与修改（五.2）计算Loss
HNU跃鹿战队的博客
03-24 2047
介绍了nanodet中loss的计算（第一部分），非常详细地给出了每一步的过程，以320x320的默认输入和默认架构为例，给出了每一个tensor的维度！
轻量检测模型NonoDet-Plus解析
00000cj的博客
01-06 1402
nanodet-plus在nanodet的基础上做了一些改进，保持轻量的同时大大提高了检测精度
pytorch分布式训练DDP(傻瓜版)
qq_33880925的博客
05-28 2111
pytorch分布式训练快速入门
nvidia-smi 在 MIG M. 出现 Disabled
yyywxk的博客
12-19 7641
问题场景： 实验最近新配了一台两卡的 NVIDIA A100 服务器，在输入命令 nvidia-smi 时，出现了和之前不同的界面，如下图所示： 在最右列的选项中，除了 Uncorr. ECC 和 Compute M. 之外，还多出了一个 MIG M. 选项，并且其状态置为 Disabled。 而常规输入命令 nvidia-smi 时，界面如下： 原因分析： 可以使用 nvidia-smi -q 来查询所有GPU的当前详细信息，更多命令可以参考博文：NVIDIA-SMI系列命令总结 因此，出现 Dis
Pytorch有关学习率的使用总结
等待戈多的博客
03-29 3233
文章目录有关学习率的调整方式一、学习率的调整模板常见模板1：常见模板2：通用模板：二、自适应调整学习率方式 - ReduceLROnPlateau参考附录：pytorch常见学习率调整函数： 有关学习率的调整方式 当我们定义好优化器后，有关学习率的调整方式是比较头大的一个问题，除了自己手动定义函数来自定义的调整学习率的方法外，pytorch的optim库也提供了许多便捷的动态学习率的调整方式。 torch.optim.lr_scheduler提供了一些基于epoch数的学习率调整方法。 torch.opt
关于pytorch 使用DDP模式（torch.nn.parallel.DistributedDataParallel）时，DistributedSampler(dataset)用法解释
so
05-16 1万+
最近由于要用到多卡去训模型，尝试着用DDP模式，而不是DP模式去加速训练（很容易出现负载不均衡的情况）。遇到了一点关于DistributedSampler这个采样器的一点疑惑，想试验下在DDP模式下，使用这个采样器和不使用这个采样器有什么区别。 实验代码： 整个数据集大小为8,batch_size 为4，总共跑2个epoch import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader from
目标检测6--NanodetPlus算法分析
机器人视觉感知
10-27 2890
NanoDet是上海人工智能实验室的RangiLyu于2020年10月份开源的轻量级检测项目，取得了很好的效果，广受关注。2021年12月份，作者又更新发布了NanoDetPlus，在coco val上的map提升了7个百分点。虽然作者将模型最终的输出concat为了一个输出，从下图可以看到有四个输出头，对应的stride分别为。
epoch, batch, iteration
weixin_43653890的博客
12-06 1101
一个epoch 指的是把所有训练数据丢进神经网络一次。由于训练数据常常太大了，不能够一口吃掉一个胖子，得慢慢来，所以我们常常把训练数据分成好几等份，分完之后每份数据的数量就是 batch size，而几等份的这个几就是iteration。总结一下，epoch指的是次数，epoch = 10 指的是把整个数据集丢进神经网络训练10次。batch size 指的是数据的个数，batch size = 10 指的是每次扔进神经网络训练的数据是10个。iteration同样指的是次数，iteration = 10
tensorflow学习笔记--深度学习中的epochs，batch_size，iterations详解
热门推荐
STHSF的地盘
06-02 5万+
深度学习框架中涉及很多参数，如果一些基本的参数如果不了解，那么你去看任何一个深度学习框架是都会觉得很困难，下面介绍几个新手常问的几个参数。
生成一个 pytorch ddp 训练和验证 resnet18 的例子，并且代码中 ddp 使用 mpirun 的方式启动
03-26
以下是 Pytorch DDP 训练和验证 ResNet18 的例子，使用 mpirun 启动 DDP： ```python import torch import torch.nn as nn import torch.distributed as dist import torchvision.datasets as datasets import ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值