《动手学深度学习》4.2和4.3多层感知机实现

目录

前言

一、加载数据集

二、初始化模型参数

三、激活函数

四、模型

五、损失函数

六、训练

七、多层感知机的简洁实现

前言

        我们实现了softmax回归之后，对实现模型的流程已经轻车熟路了。

        所以没有什么好说的，直接开干。

一、加载数据集

        加载数据集的我封装在了FashionMINISTDataLoader类中了，想要代码的，去看我写的3.5节，数据加载功能类。

from load_data_fashion_mnist import FashionMNISTDataLoader

fashion_minist = FashionMNISTDataLoader(batch_size=256)
train_iter, test_iter = fashion_minist.create_dataloaders()

二、初始化模型参数

#初始化参数
num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = nn.Parameter(torch.randn(num_inputs, num_hiddens, requires_grad=True) * 0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))

params = [W1, b1, W2, b2]

        上面的参数num_niddens代表隐藏神经元的数目

第一层（输入层→隐藏层）：

• W1: 权重矩阵，形状为 [784, 256]

  • torch.randn(): 从标准正态分布随机初始化

  • * 0.01: 缩小初始值，避免梯度爆炸

  • <