服务器后台运行python程序

文章介绍了如何在Linux环境中使用nohup命令将Python程序放在后台运行,即使用户注销或网络断开也不会被中断。同时,文章提到了利用ps、kill、top和tail等命令来查看和管理进程,包括查看内存占用和日志内容。还讨论了如何优雅地监控GPU的使用情况,这对于深度学习和图形处理非常重要。
摘要由CSDN通过智能技术生成

用户注销(logout)或者网络断开时,终端会收到 HUP(hangup)信号从而关闭其所有子进程(包括sshd及其子进程)。因此,我们的解决办法就是让进程忽略 HUP 信号.

利用nohup命令将python程序放在后台运行

nohup 就是让提交的命令忽略 hangup 信号,从而当ssh连接状态断开时,不会被系统中断掉;;
nohup 命令只需在要处理的命令前加上 nohup 即可,标准输出和标准错误缺省会被重定向到 nohup.out 文件中;一般可在结尾加上 & 表示将命令放入后台运行。

==这两个语句也可以后台运行,记得要在终端exit一下==

python -u main.py > xxx.log 2>&1 &
# 关闭node用exit
exit

=========================================
nohup python -u test.py > test.out 2>&1 &
nohup python -u xxx.py > xxx.log 2>&1 &
# 运行成功会输出一个PID号,如果想关闭运行程序就可以:
kill -9 PID
nohup python test.py 1>result.txt 2>error.txt &
 

详解:
“nohup”:保证程序不被挂起
“python”:确保执行python代码
“-u”:表示不启用缓存,实时打印输出信息到日志文件(不加利用tail查看时内容不会实时刷新)也就是把输出直接放到log中,没这个参数的话,log文件的生成会有延迟
“test.py”:运行程序;
“>”:将打印信息输出到日志文件;
“test.out”:输出的日志文件;
“2>&1”:将标准错误输出转变为标准输出,可以将错误信息也输出到日志文件中,0-> stdin, 1->stdout, 2->stderr,2与>结合代表错误重定向,而1则代表错误重定向到一个文件1,而不代表标准输出
“&”:最后一个&表示后台运行程序
test.out 2>&1 自行更改日志输出的目录及文件filename

nohup指不断地运行,是no hang up的缩写,指不间断,不挂断。nohup后台运行。
python 是运行python文件
-u:python的输出又缓冲,导致xxx.log并不能够马上看到输出。-u参数,使得python不启用缓冲,可以即时看到输出。
xxx.log保存输出的信息,运行程序时会生成这个xxx文件,里面保存这输出的信息。
2>&1 将错误信息重定向到标准输出
& 最后一个&符号代表后台运行

利用ps命令查看进程:

ps -ef | grep python

ps -ef | grep pythonps aux |grep python之间的比较参考连接

利用kill命令杀死进程:

kill -9 进程序号

用top查看进程占用内存的情况:

top

利用tail命令查看日志内容:

tail -f test.out

Linux命令行下终止当前程序

在命令行下起着终止当前执行程序的作用:

Ctrl+c

相当于exit命令,退出当前shell:

Ctrl+d

挂起当前shell:

 Ctrl+s

解冻挂起的shell再不行就重新连接打开一个终端,reboot linux 或 kill 相关进程:

Ctrl+q

参考链接

参考链接

查看目录 /path/to/Images 下的所有文件数量

# 查看所有的文件数量
ls -1 /path/to/data/Images | wc -l

# 查看文件夹下jpg图片得数量
ls -1 /path/to/data/Images/*.jpg | wc -l

# 查看文件夹下txt文件得数量
ls -1 /path/to/data/Images/*.txt | wc -l

查看一个文件夹下面有多少以sam_model开头的文件夹

你可以使用ls命令结合grep和wc命令来统计以"sam_model"开头的文件夹数量。以下是一个示例命令:

ls -d /path/to/your/folder/sam_model*/ | grep -c '^'

这个命令首先使用ls列出以"sam_model"开头的文件夹,然后通过管道(|)将结果传递给grep命令,使用正则表达式^匹配行的开头。最后,通过-c选项,grep将匹配到的行数统计并输出。

服务器常用命令

Linux中 / 表示根目录

查看CPU信息:grep CPU /proc/cpuinfo
在这里插入图片描述
| 接着执行的意思,把上面的结果用后面的命令来执行:
查看CPU的数量: grep CPU /proc/cpuinfo | wc -l
在运行python代码的时候,在编译器之前加入CUDA_VISIBLE_DEVICES=0这个命令,可以优先指定这个GPU,使用第0个GPU(代码中的其他地方不能指定其他的cuda设备)会报错。

在这里插入图片描述

```python
# 方式一
CUDA_VISIBLE_DEVICE=0,1,2 python xxx.py
# 方式二
export CUDA_VISIBLE_DEVICES = 0
python xxx.py

linux命令ps aux|grep 查看进程详解 (Process Status):
grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来) 是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。
 

```bash
 ps aux | grep python   # python会变红

在这里插入图片描述

ps aux | grep luli | grep predict

在这里插入图片描述

watch -n 1 nvidia-smi  #
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND

USER: 行程拥有者

PID: pid 

%CPU: 占用的 CPU 使用率

%MEM: 占用的记忆体使用率

VSZ: 占用的虚拟记忆体大小  RSS: 占用的记忆体大小

TTY: 终端的次要装置号码 (minor device number of tty)

STAT: 该行程的状态,linux的进程有5种状态:

D 不可中断 uninterruptible sleep (usually IO)

R 运行 runnable (on run queue)

S 中断 sleeping

T 停止 traced or stopped

Z 僵死 a defunct ("zombie") process
1) ps a 显示现行终端机下的所有程序,包括其他用户的程序。
2)ps -A 显示所有程序。 
3)ps c 列出程序时,显示每个程序真正的指令名称,而不包含路径,参数或常驻服务的标示。 
4)ps -e 此参数的效果和指定"A"参数相同。 
5)ps e 列出程序时,显示每个程序所使用的环境变量。 
6)ps f 用ASCII字符显示树状结构,表达程序间的相互关系。 
7)ps -H 显示树状结构,表示程序间的相互关系。 
8)ps -N 显示所有的程序,除了执行ps指令终端机下的程序之外。 
9)ps s 采用程序信号的格式显示程序状况。 
10)ps S 列出程序时,包括已中断的子程序资料。 
11)ps -t  指定终端机编号,并列出属于该终端机的程序的状况。 
12)ps u  以用户为主的格式来显示程序状况。 
13)ps x  显示所有程序,不以终端机来区分。

参考链接1
参考链接2

查看内存

查看home下服务器内存总的使用情况:
在这里插入图片描述
看自己账号下每个文件夹占用内存的情况命令:
du -sh /home/luli/*
在这里插入图片描述

如何优雅地监控显卡(GPU)使用情况?

参考链接

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值