Ubuntu 训练深度学习模型的时候突然重启问题

最新推荐文章于 2023-03-31 20:42:46 发布
VIP文章 最新推荐文章于 2023-03-31 20:42:46 发布
阅读量3.2k 收藏 8
点赞数
分类专栏： 系统与工具 文章标签： pytorch ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/redredxcar/article/details/105807703
版权

Ubuntu 18.04， GTX 2080 显卡， Pytorch 训练深度学习模型， 会在运行一会儿(有时1分钟，有时10几分钟，不确定）后突然自动重启。 

没有任何提示，没有任何日志。 

nvidia-settings ， psensor查看GPU， CPU温度都不是很高。

网上也没有找到很多相似的案例。 有的是玩游戏的时候重启，建议是换更大的电源。

这几个URL中的讨论时相关的。 

system auto reboot when tensorflow model is too large - Stack Overflow

https://github.com/tensorflow/tensorflow/issues/8858

不看可能会翻车，显卡瞬时功耗及电源重启之谜 – FCPOWERUP极电魔方

尝试了一下其中的一

最低0.47元/天 解锁文章
曼车斯基
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Ubuntu超详细完全配置教程（含深度学习环境配置）
10-31
Ubuntu超详细完全配置教程： 1.Ubuntu常用软件安装，不常用的软件卸载操作； 2.桌面美化； 3.anaconda、pytorch深度学习环境配置； 4.vscode使用anaconda创建的虚拟环境配置； 5.远程连接配置、ssh协议（xshell)，文件传输（xftp)等使用；
ubuntu经常自动重启，求大神帮忙看看
weixin_50201159的博客
09-14 2701
配了一台联想的P920工作站，目前显卡是双3080，之前2个月一切正常，最近每天大概重启3次，用着就突然重启，重启后一切正常
Ubuntu18.04系统在训练深度学习模型时自动重启
weixin_43587572的博客
04-27 853
我用的是2080Ti 最大功率250 sudo nvidia-smi -pl 200 nvidia-settings
ubuntu 经常卡死，特别是训练的时候
fanre的专栏
01-19 3506
ubuntu 经常死机，表现为画面不动，鼠标无反应，键盘无反应。 理解为显卡驱动有问题。错误的卸载显卡驱动后，发现电脑开机无反应。 1、找不到参考网址了，大致是开机->按住shift->进入grub->选择ubuntu Advance-->选中第一个recovery mode->选择root可以参考ubuntu如何进入修复模式，单用户模式，在进入系统前调出root用户的终端进行修复_zmhzmhzm的博客-CSDN博客_ubuntu单用户模式修复系统 2、卸载驱动 参考
查看ubuntu重启原因
heroacool的专栏
03-31 3479
叫用指令last, uptime, journalctl, dmesg这些指令查看，log里啥都每看出来。ubuntu总是重启，不知道啥原因。问了chatgpt原因，叫我查看一下log。
ubuntu训练深度学习模型电脑重启解决方法
moutain9426的博客
10-05 3891
使用工作站训练深度学习模型的时候，刚开始训练就重启，可能是电源功率不够，通过降低GPU使用的最大功耗来暂时解决这个问题。
Ubuntu在pytorch训练过程中总是出现死机，重启
absxyz19931021的博客
04-18 3533
问题解析：一般是gpu或者cpu在和内存io的时候，内存容量不足被强制kill了，举个例子，我训练的模型大小约占用显存16g，但是在存储模型的过程会被32g的内存撑爆 1 在pycharm的设置文件将内置内存最大值拉满，不会的同学可以直接用命令行运行py文件 2如果还爆炸的话就可以考虑进行代码的优化，如减少存储变量的数量等等 3实在不行就加内存吧 ...
深度学习 运行代码 服务器关机重启
w15180622522的博客
07-21 1708
真的是坑呀，我运行github里SimpleDeblurNet项目图像去模糊，用原来的代码一切良好，后来用在自己的服务器上，因为我这有两块2080Ti于是将里面的代码改成了多GPU运行模式。 然后就是坑比的运行即重启，程序也没报错，直接重启，有时候还没开始跑也重启。我一度怀疑是服务器的问题，可能是GPU温度过高，可能是线路老化等等 。结果发现就是代码的问题： model=SRNDeblurNet().cuda() net = torch.nn.DataParallel(mo...
(nohup,ssh,screen,tensorboard,jupy...)服务器上跑深度学习代码的常用操作
xiashilin的博客
02-21 1590
1.如何连上远程服务器 连上服务器 首先，当然得是要用自己的PC连接上服务器。如果你的PC是linux系统，那么可以直接通过ssh指令进行远程访问，这里不详细说明。接下来我们主要说PC是windows上的操作。首先，我们要下一个用于ssh连接的工具，个人推荐的是MobaXterm。其打开后的界面如下图所示： 然后我们依次文件->新建得到下图： 配置好后直接ssh命令登录即可 ...
Ubuntu 18.04深度学习环境配置（CUDA9.0+CUDDN7.4+TensorFolw11
08-03
1.安装Ubuntu 3. 安装1080TI显卡驱动 4.安装依赖库 5.GCC降低版本 8.安装Tensorflow GPU 1.8
使用Keras+TensorFlow开发一个复杂深度学习模型
02-24
Keras是提供一些高可用的PythonAPI，能帮助你快速的构建和训练自己的深度学习模型，它的后端是TensorFlow或者Theano。本文假设你已经熟悉了TensorFlow和卷积神经网络，如果，你还没有熟悉，那么可以先看看这个10分钟...
Ubuntu+深度学习框架搭建
04-21
Ubuntu+深度学习框架搭建
Ubuntu16.04 深度学习环境的配置.docx
07-16
作为DL小白在配置深度学习环境的时候遇到了很多过时的教程，被坑了很多次，成功了之后，编写了一份能用的深度学习环境配置教程，主要面向Linux和DL新手，希望能帮助到大家。
Linux（Ubuntu16.04）安装Nvidia显卡驱动循环登录问题
热门推荐
kingthon的博客
07-22 2万+
【注】记录下自己在用LInux过程中遇到的一些问题，为实际操作过程中遇到的问题以及解决办法。网络信息庞杂，决定将一些切实可用的解决问题的过程和办法记录下来，供大家参考，同时也方便自己日后再遇到此类问题时查看。     本文参考来源，见链接，循环登录及黑屏问题。 【所遇问题】 安装Nvidia显卡驱动，重启后，出现循环登录，无法进入系统界面。 【问题根源】 仅分析本人所遇到问题的原...
【mindspore-gpu】【gpu训练】ubuntu终端自动退出
weixin_45666880的博客
10-25 892
在UBUNTU22.04上新建了一个16G的交换分区来作为备用内存，之后再跑代码就不会崩了，同时我监控了CPU的使用情况，确实跑满了16G内存又跑了8G交换分区，可见确实是内存不够导致出现退出的情况，目前代码运行已无问题。1、正确配置显卡驱动和安装cuda，自己写了个一个用GPU训练的测试程序，没有问题。2、运行我自己写得网络的时候，数据处理部分没有问题，到训练那一步的时候。用pycharm的时候是pycharm会关闭掉。
Ubuntu由于安装NVIDIA显卡驱动导致登录界面重启
moshiyaofei的博客
09-01 2494
Ubuntu16.04 安装NVIDIA显卡驱动时，由于OpenGL选项未设置，导致NVIDIA显卡驱动安装之后出现登录界面一直重启的状况。查看了，#https://blog.csdn.net/ssmixi/article/details/73483795#的博客之后解决。以下该博客中的解决办法： 切换到文本输入模式：Ctrl+Alt+F1 卸载以前驱动   sudo apt-get rem...
ubuntu18.04系统在pytorch训练模型时自动重启问题
weixin_42064949的博客
09-11 1236
我的2080ti gpu最大功率为250 限制GPU 使用功率 sudo nvidia-smi -pl 200即可
pytorch 多机多卡卡住问题汇总
爱吃火锅的博客
01-28 1万+
前言 先说一下写这篇文章的动机，事情起因是笔者在使用pytorch进行多机多卡训练的时候，遇到了卡住的问题，登录了相关的多台机器发现GPU利用率均为100%，而且单卡甚至是单机多卡都没有卡住的现象，这就非常奇怪了。 于是乎开始搜索相关的帖子，发现很多帖子虽然也是卡住话题，但是和笔者的情况都不一样，最后开始去查一些国外的帖子以及pytorch github issue等等，发现了类似问题，而且这个问题确实很严重，截至目前都没有一个很好的快速debug方法解决。 所以这里就记录一下笔者查过的相关帖子以及遇
ubuntu深度学习训练起来后如何暂停训练不要让训练退出
最新发布
07-16
在 Ubuntu 上进行深度学习训练时，可以使用以下方法来暂停训练而不让其退出： 1. 使用 Ctrl + Z 暂停训练：在终端中运行训练命令时，按下 Ctrl + Z 可以将当前进程暂停，并返回到终端提示符。这样可以暂停训练过程，但是训练进程仍然存在于后台。 2. 使用 nohup 命令：可以使用 nohup 命令在后台运行训练过程，并将输出重定向到一个文件中。例如： ```bash nohup python train.py > train.log & ``` 这将在后台运行 `train.py` 脚本，并将输出保存到 `train.log` 文件中。使用 `&` 符号可以使命令在后台运行。 3. 使用工具如 tmux 或 screen：tmux 和 screen 是用于在终端中创建多个会话的工具，可以在其中运行训练进程，并随时切换到其他会话或分离会话而不中断训练进程。这样可以方便地暂停和恢复训练。 例如，在使用 tmux 的情况下，可以执行以下步骤： - 运行 `tmux` 命令启动一个新的 tmux 会话。 - 在 tmux 会话中运行深度学习训练命令。 - 按下 `Ctrl + B`，然后按下 `D` 将会话分离（detach）。 - 此时，训练进程将在后台继续运行，而你可以自由地退出终端或切换到其他会话。 - 当需要恢复训练时，可以使用 `tmux attach` 命令重新连接到之前的会话，并查看训练进程的状态。 这些方法可以让你在训练过程中暂停训练而不让其退出。具体使用哪种方法，取决于你的偏好和具体情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼车斯基

如果内容对你有用,赏杯咖啡吧!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值