【动手学深度学习】暂退法(Dropout)

xyy ss

已于 2022-08-16 11:00:19 修改

阅读量237

点赞数

分类专栏：动手学深度学习文章标签： pytorch 深度学习

于 2022-08-16 10:59:15 首次发布

本文链接：https://blog.csdn.net/weixin_45057858/article/details/126359555

版权

动手学深度学习专栏收录该内容

11 篇文章 0 订阅

订阅专栏

dropout前后的多层感知机
在这里插入图片描述

将暂退法应用于每个隐藏层的输出(在激活函数之后),并且可以为每一层设置暂退概率:常见的技巧是在靠近输入层的地方设置较低的暂退概率。下面的模型将第一个和第二个隐藏层的暂退概率分别设置为0.2和0.5,并且暂退法只在训练期间有效。
在这里插入图片描述

net = Net(num_inputs, num_outputs, num_hiddens1, num_hiddens2)

训练和测试
类似于多层感知机的训练和测试

num_epochs, lr, batch_size = 10, 0.5, 256
loss = nn.CrossEntropyLoss(reduction='none')
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
trainer = torch.optim.SGD(net.parameters(), lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)