Linux上的多机多卡训练【重要原则】

Linux上的多机多卡训练 总体原则如下：

1.保证数据集图像的绝对路径一致
2. 保证训练代码的绝对路径一致
3. 保证虚拟环境中安装的模块版本一致
4. 保证两台机器，都连接在了同一个wifi下

以下是详细说明：

步骤一：统一数据集配置

1. 绝对路径一致性
在多台机器上，首先确保数据集的存放位置具有相同的绝对路径。这是因为深度学习训练通常依赖于相对或绝对路径来访问数据，若路径不一致，会导致某些机器无法找到对应的数据文件。一种可行的做法是在每台机器上挂载同一网络存储（例如NFS或HDFS），或者通过rsync等工具将数据集同步至相同目录下，确保所有机器都能通过相同的路径访问到完整的数据集。

2. 数据集内容一致性
不仅路径要一致，还要确保每台机器上的数据集内容完全相同，避免因为数据差异导致模型训练结果不一致。这可以通过在数据预处理阶段统一执行划分、清洗和格式转换操作，并且在分发数据集时采用checksum校验机制来验证数据完整性。

步骤二：训练代码与环境管理

1. 训练代码绝对路径一致性
同样，训练代码也应该在各台机器上有相同的部署路径。建议采用版本控制系统（如Git）来管理和同步代码，并确保所有机器拉取的是同一分支或提交版本。此外，通过bash脚本或makefile统一编译和运行命令，确保代码执行的一致性。

2. 虚拟环境与模块版本控制
使用Conda或Virtualenv创建和管理隔离的Python环境，在所有机器上安装相同版本的深度学习框架（如PyTorch或TensorFlow）、加速库（如cuDNN、NCCL）、以及其他必要的第三方库。使用requirements.txt或environment.yml文件来记录环境配置，并在每台机器上严格按照此文件重新创建或更新虚拟环境，确保各个模块版本严格一致。

步骤三：网络与通信配置

1. 网络连接与同步
尽管提到保证两台机器连接在同一WiFi下，但在实际的多机多卡训练中，往往需要高速低延迟的局域网环境，如通过交换机或InfiniBand网络互联。确保所有机器间的网络通信稳定、高效，可通过ifconfig或ip addr检查网络配置，设置静态IP地址，并适当调整防火墙规则以允许必要的通信流量。

2. 参数服务器与分布式训练
使用分布式训练框架如Horovod、TensorFlow Distributed或PyTorch的DataParallel/DistributedDataParallel，配合加速工具如Accelerate或DeepSpeed，配置参数服务器或Ring Allreduce策略来协调多机多卡之间的梯度同步与优化。

步骤四：硬件设备同步

1. 显卡驱动与CUDA一致性
更新所有机器上的NVIDIA显卡驱动至兼容且稳定的版本，并安装匹配的CUDA Toolkit，确保GPU计算能力充分利用且无因驱动或CUDA版本不一致导致的问题。

2. 多GPU设备标识
根据每台机器上GPU的数量和具体标识，合理分配计算资源，确保在训练脚本中正确指定了设备ID，以便多卡间协同工作。

总之，就是尽可能保证所有参与训练的数据和环境，要一致。

步骤五：监控与调试

1. 日志与错误排查
设置详细的日志记录功能，以便追踪每一台机器上的训练进度和可能的错误。当发生问题时，通过对比各节点的日志快速定位故障点。

2. 测试与基准
在大规模训练开始前，先在小规模数据上进行单机多卡和多机多卡的性能测试与收敛性验证，确保在分布式环境下的训练效率和模型质量均符合预期。