多层感知机中用dropout方法优化过拟合

#coding=utf-8

#dropout方法降低过拟合现象
#在多层感知机基础上进行dropout的优化

#丢弃法将一些输出项随机置0来控制模型复杂度，效果比权重下降要好
# 常用作在多层感知机的隐藏层输出上，
# 丢弃概率是控制模型复杂程度的超参数


import torch
from torch import nn
#导入PyTorch库中的初始化函数的语句
from torch.nn import init
import numpy as np
from d2l import torch as d2l


num_inputs=784
num_outputs=10
num_hiddens1=256
num_hiddens2=256

#定义丢弃率
drop_prob1, drop_prob2 = 0.2, 0.5
#模型的定义
#按照定义这个模型是两层线性回归模型，中间只有一个隐藏层
net = nn.Sequential(
    torch.nn.Flatten(),
    nn.Linear(num_inputs,num_hiddens1),
    nn.ReLU(),
    nn.Dropout(drop_prob1),
    nn.Linear(num_hiddens1,num_hiddens2),
    nn.ReLU(),
    nn.Dropout(drop_prob2),
    nn.Linear(num_hiddens2,num_outputs),

)

for params in net.parameters():
    init.normal_(params,mean=0,std=0.01)

#模型训练
batch_size=256
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)
loss=torch.nn.CrossEntropyLoss()

optimizer=torch.optim.SGD(net.parameters(),lr=0.1)

num_epochs=10
d2l.train_ch3(net,train_iter,test_iter,loss,num_epochs,optimizer)
d2l.plt.show()

这段代码在多层感知机简洁实现的基础上，加入Dropout()优化得到，所显示图像进行对比。

未加入dropout()层

加入dropout()层后图像如下