MLP代码实例

# 导入必要的库
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义一个多层感知器（MLP）类，继承自 nn.Module
class MLP(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(MLP, self).__init__()

        # 构建网络结构
        self.layers = nn.Sequential(
            nn.Linear(input_size, hidden_size),
            nn.ReLU(),
            nn.Linear(hidden_size, output_size)
        )

    def forward(self, x):
        # 定义前向传播
        x = x.view(x.size(0), -1) # Flatten the input tensor
        out = self.layers(x)
        return out

# 超参数设置
input_size = 784
hidden_size = 128
output_size = 10
learning_rate = 0.001
batch_size = 64
num_epochs = 10

# 数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

# 加载MNIST数据集
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform, download=True)

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=False)

# 创建模型、损失函数和优化器对象
model = MLP(input_size, hidden_size, output_size)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=learning_rate)

# 开始训练
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        # 前向传播
        outputs = model(images)

        # 计算损失
        loss = criterion(outputs, labels)

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        # 输出损失信息
        if (i+1) % 100 == 0:
            print(f"Epoch [{epoch+1}/{num_epochs}], Step [{i+1}/{len(train_loader)}], Loss: {loss.item():.4f}")

# 测试模型
model.eval()
correct = 0
total = 0
with torch.no_grad():
    for images, labels in test_loader:
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print(f"Accuracy of the model on the 10000 test images: {100 * correct / total:.2f}%")

这个示例涵盖了PyTorch中的一些基本概念，如以下所述：

1. 张量：PyTorch中的基本数据结构，用于表示多维数组。在这个示例中，我们使用torch.Tensor对象表示输入图像、标签和模型输出。
2. 神经网络模型：我们定义了一个MLP类，它继承自nn.Module，用于创建多层感知器（MLP）模型。__init__方法定义了网络结构，forward方法定义了前向传播过程。
3. 优化器：我们使用torch.optim库中的优化器来更新模型参数。在这个例子中，我们使用optim.Adam作为优化器。
4. 数据加载和预处理：我们使用torchvision库加载MNIST数据集，并对其进行预处理。transforms.Compose用于组合多个预处理操作。数据集被封装成DataLoader对象，以便在训练过程中进行批处理、打乱和并行处理。
5. 训练循环：我们使用两个嵌套的for循环来实现训练过程。外层循环遍历每个训练周期，内层循环遍历每个批次的数据。在每次迭代中，我们执行前向传播、计算损失、执行反向传播和更新模型参数。
6. 损失函数：我们使用nn.CrossEntropyLoss损失函数来计算模型输出和实际标签之间的损失。
7. 反向传播和梯度更新：我们使用loss.backward()计算梯度，并使用optimizer.step()更新模型参数。在每次更新之前，我们需要使用optimizer.zero_grad()清除梯度缓存。
8. 模型评估：在训练结束后，我们将模型设置为评估模式（model.eval()），然后使用测试数据集评估模型性能。我们使用torch.no_grad()上下文管理器在评估过程中禁用梯度计算，以节省内存并加速计算。