20正则化之Dropout

一、Dropout概念

1.1 Dropout随机失活

随机: dropout probability
失活: weight=0

基本思想：以一定的概率使网络中的部分神经元失去活性，让神经元学习到更鲁棒的特征，减轻过度的依赖性，从而缓解了过拟合，降低方差达到正则化效果

数据尺度变化: 测试时,所有权重乘以1-drop_prob
drop_prob = 0.3, 1-drop_prob = 0.7

1.2 nn.Dropout

torch.nn.Dropout(p=0.5, inplace=False)

功能: Dropout层

参数:

• p:被舍弃概率,失活概率

实现细节:
训练时权重均乘以$\frac{1}{1-p}$，即除以1-p，而测试是乘以1-p，这样以保持尺度相同

位置：放置于要失活的网络层之前，输出层之前一般不加dropout

示例：

# -*- coding:utf-8 -*-

import torch
import torch.nn as nn
import matplotlib.pyplot as plt
from tools.common_tools import set_seed
from torch.utils.tensorboard import SummaryWriter

set_seed(1)  # 设置随机种子
n_hidden = 200
max_iter = 2000
disp_interval = 400
lr_init = 0.01


# ============================ step 1/5 数据 ============================
def gen_data(num_data=10, x_range=(-1, 1)):

    w = 1.5
    train_x = torch.linspace(*x_range, num_data).unsqueeze_(1)
    train_y = w*train_x + torch.normal(0, 0.5