【Linux、深度学习】模型训崩必备Linux命令

1.查看显卡

nvidia-smi 

显卡从0开始编号，有一张显卡在用就换另一张。

2. 刷新显卡

watch -n 0.1 nvidia-smi

每0.1秒动态刷新一次显卡

3. 指定显卡

os.environ['CUDA_VISIBLE_DEVICES'] = '1'

在程序代码的第二行添加，指定程序在编号为1的显卡上运行

CUDA_VISIBLE_DEVICES=3,4,1 python train.py

在命令前面说明显卡编号，可以并行

4. 后台运行

nohup python -u ... > xxx.xxx 2>&1 &

xxx.xxx为输出文件名，一般用xxx.log或xxx.file表示。
——“-u”，python不使用缓冲
——“nohup”，不挂断地运行命令
——“>”重定向，不输出到显示器输出到文件中
——“2>&1”，2是标准错误输出，1是标准输出，&是引用，对标准输出的引用，这个命令就表示将标准错误输出也重定向到标准输出指向的文件中。

5. 查看日志

tail -f xxx.xxx

xxx.xxx为文件名，一般写为xxx.log或xxx.file。