Distributed-VGG-F 项目使用教程

Distributed-VGG-F 项目使用教程

Distributed-VGG-F 项目地址: https://gitcode.com/gh_mirrors/di/Distributed-VGG-F

1. 项目目录结构及介绍

Distributed-VGG-F/
├── distributedUtil.py
├── distributedVggf.py
├── LICENSE
├── README.md
└── requirements.txt

• distributedUtil.py: 包含分布式训练所需的辅助函数和工具。
• distributedVggf.py: 项目的启动文件，负责初始化并运行分布式训练。
• LICENSE: 项目的开源许可证，本项目使用 MIT 许可证。
• README.md: 项目的说明文档，包含项目的概述、安装和运行说明。
• requirements.txt: 项目所需的依赖库列表。

2. 项目的启动文件介绍

distributedVggf.py

distributedVggf.py 是项目的启动文件，负责初始化并运行分布式训练。以下是该文件的主要功能和参数：

• 初始化分布式环境: 通过 init_process_group 函数初始化分布式环境，设置主节点的 IP 地址和端口。
• 加载数据: 使用 ImageFolder 类加载训练和验证数据集。
• 定义模型: 使用 VGG-F 模型进行训练，VGG-F 是 VGG-16 的一个变种，包含两个额外的层用于特征空间的逐步减少。
• 训练过程: 使用 PyTorch 的 Distributed Data Parallel 模块进行分布式训练，每个节点处理不同的 mini-batch，并汇总梯度进行模型更新。

启动命令

在每个节点上运行以下命令启动训练：

python distributedVggf.py -iu <tcp-url> -rn <rank> -ws <world-size> -rd <root-dir> -ep 5 -lr 0.00001 -mb 64

• -iu <tcp-url>: 主节点的 TCP URL。
• -rn <rank>: 当前节点的编号（0 到 N-1）。
• -ws <world-size>: 集群中的节点总数。
• -rd <root-dir>: 数据根目录，包含 TrainData 和 ValidationData 文件夹。
• -ep 5: 训练的 epoch 数。
• -lr 0.00001: 学习率。
• -mb 64: mini-batch 大小。

3. 项目的配置文件介绍

requirements.txt

requirements.txt 文件列出了项目运行所需的依赖库，使用以下命令安装依赖：

pip install -r requirements.txt

数据集配置

项目使用 ImageFolder 类加载数据，因此数据集的文件结构需要符合以下要求：

• 数据根目录下包含 TrainData 和 ValidationData 两个文件夹。
• 每个文件夹下包含多个子文件夹，每个子文件夹代表一个类别，子文件夹名称为类别标签。
• 每个子文件夹中包含属于该类别的图像文件。

运行环境配置

• Python 3.6: 项目使用 Python 3.6 版本。
• PyTorch 1.2: 项目使用 PyTorch 1.2 版本进行分布式训练。
• CUDA 10.0: 项目在 GPU 上运行，使用 CUDA 10.0 版本。

通过以上配置和启动步骤，您可以成功运行 Distributed-VGG-F 项目进行分布式训练。

Distributed-VGG-F 项目地址: https://gitcode.com/gh_mirrors/di/Distributed-VGG-F