多层感知机

1 从零实现

import torch
from torch import nn
from d2l import torch as d2l

batch_size=256
#设置迭代器,使用之前保存再d2l中的设置迭代器函数
trainer_iter,test_iter=d2l.load_data_fashion_minst(batch_size)

1.1初始化模型参数

使用Fashion_mnist，一张图片784像素，视为784个输入特征和10个类别

此模型具有1层隐藏层，每层256个隐藏单元（由于寻址方式等，将2的若干次幂作为层宽度）

为权重矩阵和偏置矩阵分配内存

num_inputs,num_outputs,num_hidden=784,10,256
W1=nn.Parameter(torch.randn(num_inputs,num_hidden,require_grad=True)*0.01)
b1=nn.Parameter(torch.zeros(num_hidden,require_grad=True))
W2=nn.Parameter(torch.randn(num_inputs,num_hidden,require_grad=True)*0.01)
b2=nn.Parameter(torch.zeros(num_hidden,require_grad=True))
param=[W1,b1,W2,b2]

1.2 激活函数

def relu(X):
    a=torch.zero_like(X)
    return torch.max(X,a)

1.3模型

def net(X):
    X=X.reshape(-1,num_inputs)#此处忽略空间结构，将二维图像转换为向量
    H=relu(X@W1+b1)
    return (H@W2+b2)#一层隐藏层，一层激活层，激活后还有一个线性层

1.4损失函数

loss=nn.CrossEntropyLoss(reduction='none')

1.5训练

num_epochs,lr=10,0.1
updater=torch.optim.SGD(params,lr=lr)
d2l.train_ch3(net,train_iter,test_iter,loss,num_epochs,updater)

不利于有大量层

2 简洁实现

将模型架构独立出来

net=nn.Sequential(nn.Flatten(),
                  nn.Linear(784,256),
                  nn.Relu(),
                  nn.Linear(256,10))
def init_weight(m):
    if type(m)==nn.Linear:
       nn.init.normal(m.weight,std=0.01)
net.apply(init_weights);

####训练
batch_size,lr,num_epoches=256,0.1,10
loss=nn.CrossEntropyLoss(reduction='none')
trainer=torch.optim.SGD(net.parameter(),lr=lr)
trainer_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net,train_iter,test_iter,loss,num_epochs,trainer)

3 如何判断欠拟合与过拟合

训练误差与验证误差相近，都很大，欠拟合，应该增加模型复杂度

训练误差小，验证误差大，说明过拟合，可增加更多数据