管理远程服务器任务常用Linux命令

小杰克第一次使用服务器进行深度学习模型训练,这下可把他难倒了。之前都是在本地训练模型,直接使用 python yyds.py就可以训练了,但是总不能一直挂着服务器吧,于是他学会了后台运行命令:

nohup python yyds.py

但是这样输出会直接在根目录下的nohup.out文件。后来小杰克发现可以重定向输出到指定文件下:

nohup python yyds.py > mylog.log 2>&1 &

这样运行日志就会输出到指定位置。

小杰克后来发现另外一种命令方式,叫做会话。使用screen命令,方式如下:

# 新创建一个名为php的会话
screen -S php
# 离开会话
ctrl + a + d
# 恢复创建的会话
screen -r php
screen -r # 如果你只创建了一个会话
# 查看已经创建的会话
screen -ls
# 退出screen
exit
# 其他命令
Ctrl + a,d #暂离当前会话
Ctrl + a,c #在当前screen会话中创建一个子会话
Ctrl + a,w #子会话列表
Ctrl + a,p #上一个子会话
Ctrl + a,n #下一个子会话
Ctrl + a,0-9 #在第0窗口至第9子会话间切换

于是,小杰克学会了将脚本挂在后台而不必担心远程连接中断。但是训练模型难免要使用显卡,在服务器上一般是多卡的,所以小杰克使用Nvidia自带的一个nvidia-smi的命令行工具,会显示显存使用情况

nvidia-smi

不过这只是一瞬间的情况。如果需要周期性输出GPU使用情况,可以设置为每 10s 显示一次显存的情况

watch -n 10 nvidia-smi

此外,更通用的工具是使用系统命令

# 查看显存使用系统命令
gpustat
gpustat -cpu
# Linux CPU 利用率
htop

htop会输出很多内容,详细字段解释如下:

PID:进程标志号,是非零正整数
USER:进程所有者的用户名
PR:进程的优先级别
NI:进程的优先级别数值
VIRT:进程占用的虚拟内存值
RES:进程占用的物理内存值
SHR:进程使用的共享内存值
S:进程的状态,其中S表示休眠,R表示正在运行,Z表示僵死状态,N表示该进程优先值是负数
%CPU:该进程占用的CPU使用率
%MEM:该进程占用的物理内存和总内存的百分比
TIME+:该进程启动后占用的总的CPU时间
COMMAND:进程启动的启动命令名称

在训练时,小杰克不小心将中断任务命令ctrl+c按成了停止进程并放入后台命令ctrl+z,发现GPU上一直有这个任务!小杰克发现使用jobs命令后,可以显示所有后台暂停的任务。可以使用如下命令将任务搬回前台

bg %N #使第N个任务在后台运行(%前有空格)
fg %N #使第N个任务在前台运行
#默认bg, fg不带%N时表示对最后一个进程操作

小杰克很开心的开始炼丹。但是马虎的他训练了好久才发现代码是有问题的,也忘记了进程号。怎么中断任务呢?使用抓取进程命令:

ps aux|grep yyds.py

然后获得进程号之后,使用杀死进程命令:

kill -9 进程号

其中-9是强制杀死。然而小杰克发现他使用的是多线程模型。批量打印kill到所有这些进程的命令,有两种命令,kill和kill -9:

# 批量打印kill到所有这些进程的命令,有两种命令,kill和kill -9
ps -ef | grep yyds.py | grep -v grep | awk '{print "kill "$2}'
ps -ef | grep yyds.py | grep -v grep | awk '{print "kill -9 "$2}'
# 批量sh执行
ps -ef | grep yyds.py | grep -v grep | awk '{print "kill "$2}' | sh

ps命令还可以用来看哪些进程比较“霸道”:

# 1.CPU占用最多的前10个进程
ps auxw|head -1;ps auxw|sort -rn -k3|head -10
# 2.内存消耗最多的前10个进程
ps auxw|head -1;ps auxw|sort -rn -k4|head -10
# 3.虚拟内存使用最多的前10个进程
ps auxw|head -1;ps auxw|sort -rn -k5|head -10

小杰克继续了他欢乐的炼丹生活。

未完待续。。。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页