多层感知机的简洁实现

《动手学深度学习pytorch》部分学习笔记，仅用作自己复习。

多层感知机的简洁实现

使用Gluon来实现上一节中的多层感知机。

import torch
from torch import nn
from torch.nn import init
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

定义模型

和softmax回归唯⼀的不同在于，我们多加了⼀个全连接层作为隐藏层。

# 输入、输出、隐藏层。它的隐藏单元个数为256。
num_inputs, num_outputs, num_hiddens = 784, 10, 256
# 使用ReLU函数作为激活函数。
# Flatten就是将2D的特征图压扁为1D的特征向量，用于全连接层的输入。
net = nn.Sequential(
        d2l.FlattenLayer(),
        nn.Linear(num_inputs, num_hiddens),
        nn.ReLU(),
        nn.Linear(num_hiddens, num_outputs),
        )
for params in net.parameters():
    # 初始化
    init.normal_(params, mean=0, std=0.01)

读取数据并训练模型

batch_size = 256
# 载入数据集
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
# 交叉损失函数
loss = torch.nn.CrossEntropyLoss()
# 这里使用的是PyTorch的SGD⽽不是d2lzh_pytorch里面的sgd
# 不存在学习率看起来很大的问题了了
optimizer = torch.optim.SGD(net.parameters(), lr=0.5)
num_epochs = 5
# 训练
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs,batch_size, None, None, optimizer)

输出：

epoch 1, loss 0.0030, train acc 0.712, test acc 0.744
epoch 2, loss 0.0019, train acc 0.823, test acc 0.821
epoch 3, loss 0.0017, train acc 0.844, test acc 0.842
epoch 4, loss 0.0015, train acc 0.856, test acc 0.842
epoch 5, loss 0.0014, train acc 0.864, test acc 0.818

小结

• 通过PyTorch可以更简洁地实现多层感知机。