多层感知机的从零开始实现

1、导入相关的包

import torch
from torch import nn
from d2l import torch as d2l

#选择批量大小
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

2、初始化权重w和偏移b

#分别代表784个输入 10个输出 256个隐藏层
num_inputs, num_outputs, num_hiddens = 784, 10, 256

#初始化权重，torch.randn生成的随机数字满足标准正态分布（0~1）
W1 = nn.Parameter(torch.randn(
    num_inputs, num_hiddens, requires_grad=True) * 0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(
    num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))

#这里的W和b的数量=隐藏层+输出层
params = [W1, b1, W2, b2]

3、定义激活函数，这里使用relu函数（还有sigmoid、tanh等激活函数）

#自定义的relu函数
def relu(X):
    a = torch.zeros_like(X)
    return torch.max(X, a)

4、定义感知机模型

#定义感知机模型
def net(X):
    # x的形状是(256,784)
    X = X.reshape((-1, num_inputs))
    # w1的形状是(784,256) b(1,256)
    # H为（256，256）
    H = relu(X@W1 + b1)  # 这里“@”代表矩阵乘法
    # W2（256，10）
    # return的形状为 （256，10）
    return (H@W2 + b2)

5、定义交叉熵损失函数

#因为是分类问题，用交叉熵
#这里自动进行softmax
loss = nn.CrossEntropyLoss(reduction='none')

6、训练模型

#设置迭代周期和学习率
num_epochs, lr = 10, 0.1
#小梯度批量下降
updater = torch.optim.SGD(params, lr=lr)
#训练模型
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)

 

7、进行预测

#进行预测
d2l.predict_ch3(net, test_iter)