服务器训练模型被关闭，可以试试挂起

最新推荐文章于 2024-09-12 11:25:09 发布
最新推荐文章于 2024-09-12 11:25:09 发布
阅读量178 收藏
点赞数 1
分类专栏： 服务器使用 文章标签： 服务器 深度学习 conda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43725659/article/details/134202091
版权

服务器挂起训练模型

cd 到项目目录，路径这块搞清楚对的上就行
vim创建一个.sh文件
vim train.sh
在这里插入图片描述
nohup python -u train.py(这一块参数和路径搞清楚就行) > log1.txt 2>&1
保存后
bash train.sh 就可以了
如果想要看训练过程，看看是否挂起，可以新建一个ssh连接，cd到目录下，vim log1.txt
log1.txt里面记录训练的输出和报错信息，就相当于pycharm的输出控制台
还是比较简单的，适合小白

致命扼腕
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
参考文献
Ω｜狐步幻影
10-26 7万+
[ IIS 6 = php 5 + MySQL 5 ]body { font-family:verdana; cursor:default;}td {font-size:14px;color:darkslategray;line-height:150%}a:link {color:whitesmoke}a:hover {color:silver}a:visited
GPU和fuse设备
y_chen_007的博客
12-15 1789
如何在kubernetes容器中同时使用GPU和fuse设备问题介绍原因分析解决方案fuse简单介绍容器中使用fuse的正确方法在k8s容器中使用fuse设备/dev/fuse注入到容器功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释...
一文明白使用nohup将服务器训练程序后台运行不关闭+随时通过查看训练情况输出与visdom可视化
01-06
使用nohup将训练程序后台不间断运行+随时查看训练情况输出与可视化使用服务器进行远程训练nohup指令和查看输出缺省输出文件的写法指定输出文件的写法和CUDA一起用实时查看out配合visdom使用 使用服务器进行远程训练 由于笔者经常需要使用服务器进行训练，且有些模型训练起来需要很长的时间，如Mask模型，故经常需要长期跑程序。由于我使用的是ssh登录，因此断网或者退出账号时程序就会被kill。总结了以下常用的远程训练指令，帮你可以不间断的训练模型，并且随时可以查看模型可视化结果。 nohup指令和查看输出 nohup 是 no hang up 的缩写，就是不挂断的意思。 nohup命令：
使用Screen解决服务器训练模型训练中断问题
一只小包子的博客
09-06 3571
使用ssh连接到服务器时，如果连接非正常中断（例如使用Xshell长时间未操作自动断开连接 ），重新连接的时候会重新创建一个session，这样如果在进行模型训练时，未训练结束发生非正常中断，则无法恢复到模型训练的session。此时可以通过screen来解决该问题。 screen -S sessionName 创建一个session screen -ls 列出所有的session s...
Tensorflow 4. 训练过程，服务器宕机了一次，服务器重启之后加载保存的model.ckpt报错？
andersonxie的博客
04-17 2088
  问题原因：根据代码中设置的tf.train.Saver(max_to_keep=?)，原因是最新一次写入model.ckpt的参数没有写完，此时服务器宕机，因此在重新加载model.ckpt时会报错（保存参数不完整）。  解决方法：  假设当前的checkpoint内容为：  model_checkpoint_path: "/home/***/train/model.ckpt-64863"  ...
Linux服务器断网后模型继续训练--screen
栗子菜菜
09-11 1520
在Linux服务器上跑深度学习代码经常需要好几天才能完成，如果中途网断了，连不上服务器，代码无法继续运行，如何解决这个问题？ 1.建立screen screen -S name 2.激活环境 source activate xx 3.运行代码 screen命令 screen -S name创建 screen -ls查询窗口 screen -r name进入 kill -9 id ，screen -wipe删除screen ...
Linux服务器断开连接仍然训练模型方法
m0_62102107的博客
11-02 726
方法一中的screen命令并不是每个服务器都能使用的，如果你使用的服务器没有安装screen，而你又没有权限安装，那么可以使用nohup命令。但只能有一台机器进入窗口，如果有一台机器正查看screen窗口内容，其他机器将进入失败。步骤1执行之后代码就已经运行了，这时候就可以关上电脑走人了。如果忘了输入的窗口名是什么，输入以下命令可以查看存在的窗口有哪些。新建窗口后可以在窗口里运行代码，即便断开连接也可以继续运行。如果没有screen则需要安装，以下是安装命令。输入以下命令可以重新进入运行窗口。
爬虫教程（ 6 ） --- 爬虫 进阶、扩展
墨鱼菜鸡
07-11 6823
1. 前言 1. 先看一个最简单的爬虫。 import requests url = "http://www.cricode.com" r = requests.get(url) print(r.text) 2. 一个正常的爬虫程序 上面那个最简单的爬虫，是一个不完整的残疾的爬虫。因为爬虫程序通常需要做的事情如下： 1)给定的种子 URLs，...
从三本院校到斩获字节跳动后端研发Offer
weixin_50333534的博客
01-04 5815
文章篇幅较长，都是满满的干货，看完收获绝对很多，文末有学习笔记和学习资料领取 前言 大家好, 这次应博主的邀约，写一篇关于我的Java自学经历，希望对小伙伴们有所帮助。 我本科就读于北方某三本院校，和别人交谈的时候也不太愿意过多介绍关于自己本科的情况，想着英雄不问出处。不过后面想想，自己的一些经历分享出来，如果刚好有在某个阶段开始迷茫的小伙伴，可以通过阅读我的经历，避免掉一些我走过的弯路，那就很好了。 天，总会亮的 关于我 我本科就读于三本的独立学院，主要是因为高考考得不好，说白了就是...
R语言与统计分析
小飞侠的博客
12-16 1万+
R语言与统计分析 汤银才 主编 高等教育出版社 二○○八年五月 内容介绍 本书以数据的常用统计分析方法为基础，在简明扼要地阐述统计学基本概 念、基本思想与基本方法的基础上，讲述与之相对应的R函数的实现，并通过 具体的例子说明统计问题求解的过程. 本书注重思想性、实用性和可操作性. 在内容的安排上不仅包含了基础统 计分析中的探索性数据分析、参数的估计与假设检验，还包括的非参数统计分...
nohup 后台挂起训练模型，防止断电等断开链接
Guo_Python的博客
05-11 1177
1. 情景介绍 当我们在服务器上训练模型时，防止意外等断开与服务的链接从而导致训练终止，一个比较好的解决方法就是使用nohup。 2. 使用方法 nohupcommond 例如：下面就是在后台训练模型的命令。 nohup train.py 原程序的的标准输出被自动改向到当前目录下的nohup.out文件，起到了log的作用。 如果你希望看到训练日志，在训练的目录下运行下面命令： tail -fn 50 ...
AutoKeras 导出模型，训练中断与恢复
devmole的专栏
02-28 2222
先用个mnist的例子说明吧，下面的例子将训练以后的模型导出成图 from keras.datasets import mnist from keras.models import load_model from keras.utils.vis_utils import plot_model from autokeras import ImageClassifier import ...
pytorch训练中断后，如何在之前的断点处继续训练
热门推荐
wangmengmeng99的博客
11-27 2万+
我们在训练模型的时候经常出现各种问题导致训练中断，比方说断电，或者关机之类的导致电脑系统关闭，从而将模型训练中断，那么如何在模型中断后，能够保留之前的训练结果不被丢失，同时又可以继续之前的断点处继续训练？ 首先在代码离需要保存模型，比方说我们模型设置训练5000轮，那么我们可以选择每100轮保存一次模型，这样的话，在训练的过程中就能保存下100，200，300.。。。等轮数时候的模型，那么当模型训练到400轮的时候突然训练中断，那么我们就可以通过加载400轮的参数来进行继续训练，其实这个过程就类似在预训练
Linux在后台运行程序，训练模型（screen命令）
qq_43605229的博客
05-16 2515
应用screen在后台运行，训练模型引言使用方法 引言 我们在远程服务器或是云端服务器上运行程序或是训练模型时总是有一个问题就是不小心断了一下网然后训练就断开连接，训练停了，当场心态爆炸，而screen就通过在后台运行很好的解决了这个问题，断网后还能继续训练。 使用方法 1.安装 首先确定系统是否安装了screen 在终端输入以下命令，如果不报错则已经安装 which screen 如果报错则输入以下命令安装 Ubantu系统： apt-get install screen CentOS系统 yum
【linux服务器使用技巧】设置模型训练等程序在服务器后台运行，解放自己的电脑
SOS团成员A
01-13 2832
【linux服务器使用技巧】设置模型训练等程序在服务器后台运行，解放自己的电脑问题描述解决过程具体流程 问题描述 众所周知，深度学习的模型训练一般需要在显卡服务器上进行，并且短则几个小时，长则几天。在楼主刚开始学习，实际训练模型的时候，需要一直保持自己电脑上运行服务器程序的窗口不关，也就是说电脑要一直开着，一旦连接断了，训练到一半的程序也断了。 所以需要找到一个方法，让训练程序在服务器跑起来后可以后台运行，即使自己的电脑关闭程序窗口也没关系。 解决过程 实际上解决的过程是非常巧合的，楼主在网上搜索“程序服务
营收同比大增215%，联想x86服务器夯实市场前三
最新发布
云科技时代
09-12 449
稳扎稳打，炼就产品硬实力！
使用服务器训练模型流程
05-27
3. 选择并租用云服务器：选择合适的云服务器进行训练，可以选择AWS、阿里云等云服务提供商。 4. 配置云服务器环境：在云服务器上安装必要的运行环境，如CUDA、cuDNN等，以及深度学习框架。 5. 上传数据集到云...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

致命扼腕

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值