多层感知机的实现

#coding=utf-8
#多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。
# 多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。
#多层感知机从0 开始实现
import torch
from torch import nn
from d2l import torch as d2l
import numpy as np

batch_size=256
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)

#定义模型参数
num_inputs,num_outputs,num_hiddens=784,10,256

#采用正态分布随机数生成器来构建初始化权重矩阵，矩阵形状(num_inputs,num_hiddens)
w1=torch.tensor(np.random.normal(0,0.01,(num_inputs,num_hiddens)),dtype=torch.float)
#b1 是一个形状为 (num_hiddens,) 的张量，表示第一层的偏置向量。这里将所有元素初始化为0
b1=torch.zeros(num_hiddens,dtype=torch.float)
w2=torch.tensor(np.random.normal(0,0.01,(num_hiddens,num_outputs)),dtype=torch.float)
b2=torch.zeros(num_outputs,dtype=torch.float)

params=[w1,b1,w2,b2]
for param in params:
    param.requires_grad_(requires_grad=True)

#定义激活函数
def relu(x):
    return torch.max(input=x,other=torch.tensor(0.0))

#定义模型，这个模型只有一层激活函数
def net(x):
    #通过view函数将每张原始图像改成长度num_inputs的向量，-1表示自动计算该维度大小
    x=x.view((-1,num_inputs))
    #将输入张量x通过线性变换（权重矩阵w1和偏置向量b1）后，再应用ReLU激活函数，得到输出张量H
    H=relu(torch.matmul(x,w1)+b1)
    return torch.matmul(H,w2)+b2

#定义损失函数
loss=torch.nn.CrossEntropyLoss()

#训练模型
num_epochs,lr=10,0.1
updater = torch.optim.SGD(params, lr=lr)
d2l.train_ch3(net,train_iter,test_iter,loss,num_epochs,updater)
d2l.plt.show()