【Pytorch分布式训练】MistGPU服务器训练

相关教程

MistGPU地址
PyCharm连接MistGPU教程

MistGPU使用注意事项

ifconfig命令查看ip地址报错

报错：zsh: command not found: ifconfig
原因：在服务器上第一次使用该命令需要先安装net-tools
解决办法：sudo apt install net-tools

sudo apt install net-tools安装网络包报错

报错：unable to locate package net-tools
解决办法：sudo apt-get update

在MistGPU上训练

ifconfig查看服务器ip地址

并将参数配置中的服务器ip地址改为172.17.0.2

# mnist-cpu-distributed.py
import os
from datetime import datetime
import argparse
import torch.multiprocessing as mp
import torchvision
import torchvision.transforms as transforms
import torch
import torch.nn as nn
import torch.distributed as dist

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 定义一个简单的CNN模型处理MNIST数据
class ConvNet(nn.Module):
    def __init__(self, num_classes=10):
        super(ConvNet, self).__init__()
        self.layer1 = nn.Sequential(
            nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
            nn.BatchNorm2d(16),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2