《动手学深度学习》之丢弃法(dropout)

参考丢弃法
我们可以通过使用丢弃法应对过拟合。
丢弃法只在训练模型时使用

在PyTorch中，我们只需要在全连接层后添加Dropout层并指定丢弃概率。
在训练模型时，Dropout层将以指定的丢弃概率随机丢弃上一层的输出元素；
在测试模型时（即model.eval()后），Dropout层并不发挥作用。

import torch
import torch.nn as nn
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

#定义模型参数
num_inputs, num_outputs, num_hiddens1, num_hiddens2 = 784, 10, 256, 256


#定义模型
drop_prob1, drop_prob2 = 0.2, 0.5   #丢弃概率

net = nn.Sequential(
        d2l.FlattenLayer(),
        nn.Linear(num_inputs, num_hiddens1),
        nn.ReLU(),
        nn.Dropout(drop_prob1),
        nn.Linear(num_hiddens1, num_hiddens2), 
        nn.ReLU(),
        nn.Dropout(drop_prob2),
        nn.Linear(num_hiddens2, 10)
        )

for param in net.parameters():
    nn.init.normal_(param, mean=0, std=0.01)

#训练和测试模型
num_epochs, lr, batch_size = 5, 100.0, 256
loss = torch.nn.CrossEntropyLoss()
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
optimizer = torch.optim.SGD(net.parameters(), lr=0.5)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)

d2lzh_pytorch