踩坑 gpu跑到一个epoch就停了不跑了。。。

最新推荐文章于 2024-06-29 19:18:09 发布
最新推荐文章于 2024-06-29 19:18:09 发布
阅读量1.5w 收藏 4
点赞数 5
文章标签： gpu 固态硬盘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiachen0212/article/details/78572083
版权

两块gpu一起跑，同样的代码，数据集，但是就是有一块在一个epoch后就停了，gpu不工作了。。。

原因：在你排除掉代码原因和硬件搭建错误后，只可能是，硬盘读数据不给力了。。。。


昨晚一样的情况，卡了一夜没好。今天把数据放固态硬盘上，卡了蛮久就gpu接着工作了。。。。

所以，不是gpu的锅，怪硬盘读数据不给力了。。。。。7w x 2 的数据量啊。。。。

jiachen0212
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
训练到第23个epoch中止，无法正常运行
xi_xiyu的博客
11-09 1158
***************************************************解答*****************************************************看不出问题代码是哪部分，因为是dataset_iterator_kernel的问题，请问出错的地方是数据加载吗。单独迭代一下数据集看看耗时呢？用官网的例子修改的函数如下。看一下是否输出数据时间太长。
在恒源云做深度学习时运行train.py到第1个epoch就自动终止了
weixin_61057398的博客
11-27 1063
也是一个 .ipynb 文件。. 默认情况下，Jupyter 将每隔 120 秒自动保存你的 notebook，而不会改变你的主 notebook 文件。. 当你“保存和检查点”时，notebook 和检查点文件都将被更新。. 因此，检查点使你能够在发生意外事件时恢复未保存的工作。每当你创建一个新的 notebook 时，都会创建一个检查点文件以及你的 notebook 文件；（2）.不要只执行下面这一句命令，这样有可能会将你的数据集删掉。（1）.先cd 到那个数据集所在的文件夹。
MoviePy用GPU加速，速度大幅度提高的方法
最新发布
2301_81519183的博客
06-29 482
MoviePy使用GPU加速，速度大幅度提高的方法
训练网络时，内存占着，但到某个epoch就停止了
qq_44976409的博客
04-30 6631
问题描述 用Cyclegan训练网络时，可以正常运行，但每次都到20多个epoch就自动停止，查看显卡的占用情况，显示显卡正在占用，但程序就卡在那了，如图： 解决 原因可能是visdom不能用，禁用就好了。 在train_options里面找到–display_id，设置为0就可以了。 ...
[Pytorch]关于采用DistributedDataParallel分布式训练时，在每个epoch的前后训练卡顿问题的解决办法
CodertypeA的博客
05-09 1362
问题描述：如题目 分析：在使用DDP训练时，pytorch采用的_MultiProcessingDataLoaderIter作为Dataloader的迭代对象。在构造迭代器和关闭迭代器时，可能会因为num_workers参数设置的过大而导致每个epoch的在构造Dataloader的花销上比训练本身还大。 在Debug的时候，发现在每个epoch结束时，Dataloader会调用_MultiProcessingDataLoaderIter._shutdown_workers以关闭Dataloader，花销时
【debug】一个Epoch前几个batch正常训练，最后一个batch的数据不足报错
向上生长的程序媛的博客
06-05 1077
在模型训练过程中，一个epoch的前几轮batch数据可以正常训练输出loss，在最后一轮batch数据报错，大概率就是数据量和epoch不匹配，导致最后一个batch的数据不能被整除，所以导致该问题。删除最后一个batch的数据，不参与训练，具体的操作是在定义dataloader的时候，设置drop_last参数为True。手动将epoch的参数调整一下，保证num-data/ batchz-size= epoch中的所有参数均为整数。整理不易，欢迎一键三连!
Faster RCNN 训练 一直停留在epoch 1/2000
红叶幽香的博客
08-07 4018
Faster RCNN 训练 一直停留在epoch 1/2000 https://github.com/you359/Keras-FasterRCNN 代码 一直停留在epoch 1/2000 解决方法： 1. 版本keras == 2.1.6 2. train_frcnn.py 125行 把 trainval 改成 train
问题：进行神经网络训练时，程序不报任何错，但马上就结束执行。
luosnongning的博客
07-26 1557
问题：进行神经网络训练时，程序不报任何错，但马上就结束执行。 原因：第一阶段完成了epochs=30的训练(0-29)。第二阶段训练时，epochs的值应设置为比30大的数。start_epoch=30。
错误处理-docker 中PyTorch训练时，Dataloader卡死、挂起，跑一个epoch停了，问题解决方案
weixin_47895059的博客
03-14 801
shm 被占满了,直接设为8G。
yolo训练过程killed
ayiya_Oese的博客
04-30 4004
在之前的训练中，一直是正常运行的，但是，做了大量的数据增强之后，训练开始没多久就死掉了 top查看资源之后发现32G的内存，几乎全被占用了，这时候才刚开始训练 训练数据集和验证数据集都特别大，一个epoch还没跑完就杀死了，就是因为内存满了 这时候就想到了训练时使用的一个参数--cache，将这个参数去掉之后，问题就解决了 ...
【问题】Epoch 1/10: 0%| | 0/45 [00:05＜?, ?it/s＜class ‘dict‘＞]Traceback (most recent call las
Mo181111的博客
07-05 2821
解决办法： 方法一： 参考：https://wenda.so.com/q/1533849510218263 具体操作：pycharm——terminal下输入：pip install scrapy 方法二： 参考：https://www.jb51.net/article/164021.htm 首先到这里下载相关扩展包，该网站是「非官方的Windows二进制文件Python扩展包（Unofficial Windows Binaries for Python Extension Packages
【深度学习】实验室一块GPU都没有怎么做深度学习？
fengdu78的博客
04-14 367
链接： https://www.zhihu.com/question/299434830 编辑： 深度学习与计算机视觉 没错，一块GPU都没有，今年突然新研一的学生都要搞深度学习了，老师还催着有想法实现一下，硬件都没有如何实现呢 ...
运行pointnet及遇到问题
clfirework的博客
12-04 1693
源码：pointnet的pytorch实现版本 实验环境：win10专业版+anaconda+python3.6+pytorch1.6.0+cuda10.1 1、下载源码 2、下载数据有Modelnet40和Shapenet两个数据集，本次实验用的shapenet40数据。shapenet(点击可直接下载） 按照readme文件进行环境配置 notice：在执行pip -e .时（e后面有一个空格和点，一定要复制到点，否则不能运行成功） 因为是window环境，没有执行下载数据科可视化...
Keras多GPU训练问题解决汇总-多GPU-速度慢-单GPU无法加载权重文件-pretrain问题解决
ehui的博客
10-30 4131
我使用的是qqwweee/keras-yolo3的代码，代码地址 目前用于做某个设备的工业化检测，实现召回率98%以上，误检在2%左右，已满足应用需求。 解决了4个问题： 1.多GPU训练问题； 2.多GPU训练速度慢的问题； 3.单GPU无法加载多GPU跑出的加载权重问题； 4.Pretrain训练收敛速度慢的问题。 1.多GPU训练问题 参考的是这篇文章 ①首先在train....
yolov5训练时卡住0%解决方案
weixin_44625028的博客
02-22 6375
用yolov5训练从labelImg标注的数据时，训练时一直卡在0%： Image sizes 640 train, 640 val Using 4 dataloader workers Logging results to runs/train/exp4 Starting training for 10 epochs... Epoch gpu_mem box obj cls labels img_size 0%| | 0/3
【问题及解决】训练一段时间卡住GPU Memory Usage满但是GPU-Util 是0%
kk的博客
03-03 1426
猜测这次的无故卡死是因为多线程读取数据导致内存爆炸，大内存很重要，这里8和4都试过了，因此选择调小num_works：8->4->2。扩充了数据集的种类并且整合之后使用yolov7nohup挂起训练，结果到了epoch45的时候卡住了，一直不动。居然是因为找不到图像，应该是我数据处理步骤较多，有的没检查清楚，结果导致了这样的结果，万万没想到啊无语死了。Workers继续调小，变成2，结果还是会出现一样的情况。可以看到显存使用几乎是满的，但是GPU使用率一直是0.结果卡了好久，我发现出现报错了！
PyTorch 训练时中遇到的卡住停住等问题
热门推荐
yyywxk的博客
05-24 6万+
- 问题描述 使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。 - 可能的原因 搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。 但
torch.nn.DataParalle多GPU运行时第一个epoch卡住问题
weixin_46786533的博客
09-03 1711
使用nvidia-smi查看GPU状态时，会有一个GPU一直100%，另一个GPU0%一直保持不变。
一个epoch跑完的循环代码
04-04
以下是一个epoch跑完的循环代码示例： ``` # 训练循环 for epoch in range(num_epochs): # 迭代数据批次 for i, (inputs, labels) in enumerate(train_loader): # 前向传播 outputs = model(inputs) # 计算损失 loss = criterion(outputs, labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() # 每隔一定步数输出一次损失 if (i+1) % print_every == 0: print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, i+1, total_step, loss.item())) # 在每个epoch结束时进行测试 with torch.no_grad(): correct = 0 total = 0 for inputs, labels in test_loader: outputs = model(inputs) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print('Accuracy of the model on the test images: {} %'.format(accuracy)) ``` 在这个示例中，我们使用了PyTorch框架来实现了一个简单的训练循环。在训练循环中，我们首先遍历数据集的每个epoch，然后在每个epoch中迭代数据批次。 对于每个数据批次，在前向传播之后，我们计算损失，并使用反向传播和优化器来更新模型的参数。 每隔一定步数，我们输出一次损失。在每个epoch结束时，我们使用测试集来评估模型的性能，并输出测试集准确率。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值