服务器程序挂后台运行

背景

用实验室服务器跑一个参数比较大的预训练模型，训练时间长，当电脑休眠或者意外断网时，在服务器上运行的代码就会中断，只能重新运行代码，因此，需要一个链接能将我们的程序挂后台。

TMUX

简介

当我们在终端使用TMUX时就可以使得终端会话窗口不会因网络中断而退出，即我们可以在断开服务器的情况下继续运行我们的程序，当我们重新连上服务器，再次进入TMUX后，还可以看到程序的运行状态和结果

安装

brew search tmux
brew install tmux
tmux -V

遇到问题

MacBook Pro 错误提示：zsh: command not found: brew

解决

mac 安装homebrew，

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

序列号选择中科大（1）的

创建TMUX会话

tmux new -s <session-name>

分离tmux会话

退出当前tmux的窗口，但是会话和里面的进程仍然在后台运行

tmux detach

查看tmux会话列表

tmux ls

连接tmux会话

tmux a -t <session-name>

杀死tmux会话

tmux kill-session -t <session-name>

在服务上指定GPU跑

准备工作

查看GPU状态和信息，找到空闲的GPU

nvidia-smi

指定GPU

CUDA_VISIBLE_DEVICES=1 python your_model.py # 使用1号GPU运行代码