shell脚本配置运行python程序，小技巧之 Linux 软连接的使用

shell脚本配置运行python程序，小技巧之 Linux 软连接的使用

实验室的多位博士会在同一台机器上跑python程序，主流的跑程序的方法有两种

• 使用sh脚本配置路径和程序
• 直接激活conda环境，然后使用 python main.py

sh脚本配置运行程序的基本方法

MY_PYTHON=/home/user/anaconda3/envs/env_name/bin/python # 这里是conda中具体环境下的python绝对路径名称
DATASET=/home/user/Datasets/cifar10/cifar-10-python # 一般也会传入数据集
PRETRAINED_MODEL=/home/user/pretrained_model/best_1.3.pth # 传入预训练模型

EXEC=./main.py # 这里配置实际运行的python文件名

MY_PYTHON EXEC  --dataset $DATASET \
                --pretrained_model $PRETRAINED_MODEL \
                --其他args参数

• 将上述脚本保存为run.sh文件，然后执行 bash run.sh 即可配置运行

直接激活conda环境运行 main.py

cd to_your_work_dir
conda activate env_name
python main.py --相关参数

方法对比

简单对比下，sh脚本配置比激活conda环境更简单，但是上述两种情况存在同样的问题，即:
nvidia-smi 信息中显示正在运行的程序名称不好分辨，尤其是多卡服务器同时运行多个程序时

为此，可以使用软连接，将具体的conda环境下的python进行快捷方式自定义名称

• 如图，所有正在运行的程序都显示为 python 从而不好分辨到底哪个程序是什么

ln -s /home/user/anaconda3/envs/env_name/bin/python /home/user/CustomName

# 这样就可以自定义程序名称，从而更好的分辨程序, 
# 无论是直接运行还是sh脚本启动，都可以使用这个软连接运行程序
/home/user/CustomName main.py

• 如图所示，GPU1上的程序(第三列)显示的程序名称就是我自定义的名称