深度学习,从零理解drop out_防止过拟合方法——李沐老师的课程笔记
对于深度学习,非常推荐李沐老师的课程,受益匪浅
课程视频课程竞赛:加州2020年房价预测_哔哩哔哩_bilibili
这里对源码做一些注释,希望大家可以更好理解这里面的意思
没有基础不知道软件如何安装的可以看Python深度学习:安装Anaconda、PyTorch(GPU版)库与PyCharm_哔哩哔哩_bilibili
有基础的也可以直接看代码,来加深理解
若有差错,请与我联系探讨
目录
## 1.丢弃法
## 一.概念
drop,防止过拟合,属于正则项,只能在训练中使用
用于多层感知机,很少用于cnn
关键从代码处了解细节
def dropout_layer(X, dropout):
assert 0 <= dropout <= 1
if dropout == 1:
return torch.zeros_like(X)
if dropout == 0:
return X
"""
torch.randn(X.shape)生成随机数,然后比较变成布尔形式,然后转变为float
mask生成一个和x形状相同的由0,1组成的张量,这些0,1是由你设定的超参数概率随机确定的。
这里也可以看出,drop out的核心就是将输入x中的数据变换,在你确定的超参数概率下,
一部分变为0(mask * X),另一部分稍微扩大(/ (1.0 - dropout)),使得总体期望不变
"""
mask = (torch.rand(X.shape) > dropout).float()
return mask * X / (1.0 - dropout)
## 二.代码注意
代码部分要讲的有一点就是老师在改函数的时候,写了
mask = (torch.randn(X.shape) > dropout).float()
我们从原理可以知道,应该是使用torch.rand随机生成(0,1)的值来与我们设定的超参数概率比较,而老师在这一步估计打习惯了,写成了torch.randn,这导致生成的是一个随机正态分布的数据,会有小于0的值,和我们需要的在(0,1)上的数据偏差很大,尤其是小于0的,会直接因为比不过我们设定的概率而直接变为0,导致变为0的数据比例远比我们设定的概率大,但是我们让数据变大部分并没有那么大即return mask * X / (1.0 - dropout)的1.0-dropout应该更小一点,导致期望数值变动,所以效果变得差了
下面是对应参数得出结果的数据图
这里还列举出没有使用drop,即概率全部设为0的情况,效果test acc也还不错,不过可以看出有些过拟合了,train和test的acc有些距离,不过问题不大
## 三.代码实现
self这里就是用于在类的方法里进行传参用的,不清楚的话推荐你看
Python深度学习:Python基础_哔哩哔哩_bilibili
这个视频的1h处有详细讲解
import torch
from torch import nn
from d2l import torch as d2l
def dropout_layer(X, dropout):
assert 0 <= dropout <= 1
if dropout == 1:
return torch.zeros_like(X)
if dropout == 0:
return X
# torch.randn(X.shape)生成随机数,然后比较变成布尔形式,然后转变为float
# mask生成一个和x形状相同的由0,1组成的张量,这些0,1是由你设定的超参数概率随机确定的。
# 这里也可以看出,drop out的核心就是将输入x中的数据变换,在你确定的超参数概率下,
# 一部分变为0(mask * X),另一部分稍微扩大(/ (1.0 - dropout)),使得总体期望不变
mask = (torch.rand(X.shape) > dropout).float()
return mask * X / (1.0 - dropout)
# 测试dropout_layer函数
X = torch.arange(16, dtype=torch.float32).reshape((2, 8))
print(X)
print(dropout_layer(X, 0.))
print(dropout_layer(X, 0.5))
print(dropout_layer(X, 1.))
# 定义具有两个隐藏层的多层感知机,每个隐藏层包含256个单元
num_inputs, num_outputs, num_hiddens1, num_hiddens2 = 784, 10, 256, 256
dropout1, dropout2 = 0.5, 0.5
# self这里就是用于在类的方法里进行传参用的,不会的话推荐你看
# https://www.bilibili.com/video/BV1K14y1c75e/?spm_id_from=333.1245.recommend_more_video.3&vd_source=3492e653bd36005e9afd4b26a77fed52
# 这个视频的1h处有详细讲解
class Net(nn.Module):
def __init__(self, num_inputs, num_outputs, num_hiddens1, num_hiddens2,
is_training=True):
super(Net, self).__init__()
self.num_inputs = num_inputs
self.training = is_training
self.lin1 = nn.Linear(num_inputs, num_hiddens1)
self.lin2 = nn.Linear(num_hiddens1, num_hiddens2)
self.lin3 = nn.Linear(num_hiddens2, num_outputs)
self.relu = nn.ReLU()
def forward(self, X):
H1 = self.relu(self.lin1(X.reshape((-1, self.num_inputs))))
if self.training == True:
H1 = dropout_layer(H1, dropout1)
H2 = self.relu(self.lin2(H1))
if self.training == True:
H2 = dropout_layer(H2, dropout2)
out = self.lin3(H2)
return out
net = Net(num_inputs, num_outputs, num_hiddens1, num_hiddens2)
num_epochs, lr, batch_size = 10, 0.5, 256
loss = nn.CrossEntropyLoss(reduction='none')
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
trainer = torch.optim.SGD(net.parameters(), lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)