参考丢弃法
我们可以通过使用丢弃法应对过拟合。
丢弃法只在训练模型时使用
在PyTorch中,我们只需要在全连接层后添加Dropout层并指定丢弃概率。
在训练模型时,Dropout层将以指定的丢弃概率随机丢弃上一层的输出元素;
在测试模型时(即model.eval()后),Dropout层并不发挥作用。
import torch
import torch.nn as nn
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l
#定义模型参数
num_inputs, num_outputs, num_hiddens1, num_hiddens2 = 784, 10, 256, 256
#定义模型
drop_prob1, drop_prob2 = 0.2, 0.5 #丢弃概率
net = nn.Sequential(
d2l.FlattenLayer(),
nn.Linear(num_inputs, num_hiddens1),
nn.ReLU(),
nn.Dropout(drop_prob1),
nn.Linear(num_hiddens1, num_hiddens2),
nn.ReLU(),
nn.Dropout(drop_prob2),
nn.Linear(num_hiddens2, 10)
)
for param in net.parameters():
nn.init.normal_(param, mean=0, std=0.01)
#训练和测试模型
num_epochs, lr, batch_size = 5, 100.0, 256
loss = torch.nn.CrossEntropyLoss()
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
optimizer = torch.optim.SGD(net.parameters(), lr=0.5)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)