启智社区【智算集群训练脚本分享-自动配置环境】

import os

# 智算网络集群训练脚本自动化配置


try:
    """这部分代码是修复镜像错误的,直接运行就行不用管,建议不要随便动"""

    os.system(f"apt-get update -y")
    os.system(f"apt install libgl1-mesa-glx -y")
    os.system(f"apt-get install libglib2.0-dev -y")

    print("修复成功")
except:
    print("修复失败")

try:
    """这部分代码是自动配置环境的,其中 requirements.txt 文件里面主要写了一些所需要的环境包"""

    os.system(f"pip install -r requirements.txt -i https://pypi.douban.com/simple/")

    print("修复成功")
except:
    print("修复失败")

try:
    """这部分代码主要是运行训练脚本的"""
    os.system("python train.py")

    print("运行成功")
except:
    print("运行失败")

其中，train.py 为你的训练脚本，可自由更改，requirements.txt  为训练所需的环境包文档，以我训练YOLOv5 环境为例，如下所示：

# pip install -r requirements.txt

# Base ----------------------------------------
matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.1.2
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.41.0
einops
timm

# Logging -------------------------------------
tensorboard>=2.4.1
wandb

# Plotting ------------------------------------
pandas>=1.1.4
seaborn>=0.11.0

# Export --------------------------------------
# coremltools>=4.1  # CoreML export
# onnx>=1.9.0  # ONNX export
# onnx-simplifier>=0.3.6  # ONNX simplifier
# scikit-learn==0.19.2  # CoreML quantization
# tensorflow>=2.4.1  # TFLite export
# tensorflowjs>=3.9.0  # TF.js export
# openvino-dev  # OpenVINO export

# Extras --------------------------------------
albumentations>=1.0.3
Cython  # for pycocotools https://github.com/cocodataset/cocoapi/issues/172
pycocotools>=2.0  # COCO mAP
roboflow
thop  # FLOPs computation

可根据自己训练的代码环境自定义配置环境包文档，