如何在服务器后台运行Python脚本，并配置虚拟环境与GPU支持

深海小咸鱼

于 2025-05-04 14:24:09 发布

阅读量654

点赞数 19

文章标签：服务器 python 策略模式

本文链接：https://blog.csdn.net/Yixuanxia/article/details/147693926

版权

#王者杯·14天创作挑战营·第1期#

使用Conda虚拟环境在服务器后台运行Python脚本，并检查GPU分配
在服务器开发环境中，我们需要确保Python脚本运行在指定的Conda虚拟环境中，并且确认是否正确分配了GPU资源。本文将通过一个完整的start.sh脚本，完成以下功能：

安装Miniconda、查询虚拟环境位置；
创建并激活指定的虚拟环境（如 test）；
检查是否分配GPU给Python脚本；
在后台运行Python脚本。

一、安装 Miniconda

如果服务器尚未安装Conda，可以按照以下步骤安装 Miniconda；若已经安装，可跳过。

1. 下载Miniconda安装包

根据服务器的操作系统下载对应版本的Miniconda：

Linux（64位系统）：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

macOS（Intel芯片）：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh

macOS（Apple Silicon芯片）：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh

2. 安装Miniconda

运行以下命令安装Miniconda：

bash Miniconda3-latest-Linux-x86_64.sh

安装过程中按提示操作，选择默认路径（如：/root/miniconda3）。安装完成后，运行以下命令加载Conda：

source ~/miniconda3/etc/profile.d/conda.sh

3. 验证安装是否成功

运行以下命令检查Conda是否安装成功：

conda --version

如果输出Conda的版本号，则说明安装成功。

二、创建Conda虚拟环境

完成Miniconda安装后，按照以下步骤创建虚拟环境：

1. 创建虚拟环境

运行以下命令创建一个名为test的虚拟环境，并安装指定的Python版本（如 3.9）：

conda create -n test python=3.9 -y

2. 激活虚拟环境

激活test虚拟环境：

conda activate test

3. 安装依赖包

在虚拟环境中安装需要的依赖包，比如numpy（若不需要，可跳过）：

conda install numpy -y

4.编写测试脚本mian.py

import time
import datetime

def main():
    print("Python脚本开始运行...")
    while True:
        current_time = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        print(f"当前时间: {current_time}")
        time.sleep(5)  # 每5秒打印一次

if __name__ == "__main__":
    main()

三、脚本内容

简易版start.sh ，包含激活环境、后台运行Python脚本，并将日志保存到output.log：

#!/bin/bash

# 启用严格模式
set -e

# 1. 激活Conda虚拟环境
source ~/miniconda3/etc/profile.d/conda.sh
conda activate test

# 2. 后台运行Python脚本
nohup python main.py > output.log 2>&1 &
echo "Python脚本已经在后台运行，日志输出到output.log。"

升级版start.sh ，包含激活环境、检查GPU分配、后台运行Python脚本，检查是否已有脚本运行、保存运行日志的功能：

#!/bin/bash

# 启用严格模式：遇到错误或未定义变量时立即退出脚本
set -e  # 遇到错误退出
set -u  # 使用未定义变量时退出

# 1. 初始化Conda环境
# 确保Conda能够正常工作
conda init bash
source ~/miniconda3/etc/profile.d/conda.sh

# 2. 查询Conda虚拟环境列表并激活指定环境
# 检查虚拟环境是否存在
ENV_NAME="test"
if ! conda env list | grep -q "$ENV_NAME"; then
  echo "虚拟环境 $ENV_NAME 不存在，请检查环境名称或创建环境！"
  exit 1
fi

# 激活虚拟环境
conda activate $ENV_NAME
echo "已激活Conda虚拟环境：$ENV_NAME"

# 3. 检查GPU是否可用
# 使用nvidia-smi检测GPU，并检查是否分配给任务
if command -v nvidia-smi &> /dev/null; then
  echo "检测到GPU环境，当前GPU信息如下："
  nvidia-smi
else
  echo "未检测到GPU，将使用CPU运行。"
fi

# 4. 检查是否已有脚本实例在运行
# 假设需要运行的Python脚本名为main.py
PYTHON_SCRIPT="main.py"

# 查找运行中的脚本进程
RUNNING_PID=$(pgrep -f "$PYTHON_SCRIPT" || echo "")

if [ -n "$RUNNING_PID" ]; then
  echo "检测到正在运行的脚本进程，PID：$RUNNING_PID，正在终止该进程..."
  kill -9 "$RUNNING_PID"
  echo "已终止进程 $RUNNING_PID。"
else
  echo "未检测到正在运行的脚本，准备启动新任务。"
fi

# 5. 后台运行Python脚本并检查GPU分配
# 使用nohup后台运行Python脚本，并将日志保存到output.log
nohup python "$PYTHON_SCRIPT" > output.log 2>&1 &
NEW_PID=$!
echo "Python脚本 $PYTHON_SCRIPT 已在后台运行，日志输出到output.log。"
echo "新任务PID：$NEW_PID"

# 6. 等待一段时间后检查GPU使用情况
sleep 5
if command -v nvidia-smi &> /dev/null; then
  echo "当前的 GPU 使用情况如下："
  nvidia-smi | grep python || echo "未检测到Python进程使用GPU。"
else
  echo "无法检测GPU使用情况，请确认GPU配置是否正确。"
fi