20正则化之Dropout

最新推荐文章于 2023-06-05 19:46:11 发布

G5Lorenzo

最新推荐文章于 2023-06-05 19:46:11 发布

阅读量290

点赞数

分类专栏： # Pytorch

本文链接：https://blog.csdn.net/qq_36825778/article/details/104197383

版权

本文介绍了Dropout的概念，这是一种用于减轻神经网络过拟合的正则化技术。Dropout通过在训练过程中以一定概率随机关闭部分神经元，迫使网络学习到更多独立的特征，从而增强模型的泛化能力。nn.Dropout是PyTorch中实现Dropout的层，其参数p定义了神经元被丢弃的概率，训练和测试时的权重调整确保了数据尺度的一致性。通常，Dropout层会放在隐藏层之间，但不会应用于输出层。

摘要由CSDN通过智能技术生成

一、Dropout概念

1.1 Dropout随机失活

在这里插入图片描述
随机: dropout probability
失活: weight=0

基本思想：以一定的概率使网络中的部分神经元失去活性，让神经元学习到更鲁棒的特征，减轻过度的依赖性，从而缓解了过拟合，降低方差达到正则化效果

数据尺度变化: 测试时,所有权重乘以1-drop_prob
drop_prob = 0.3, 1-drop_prob = 0.7

1.2 nn.Dropout

torch.nn.Dropout(p=0.5, inplace=False)

功能: Dropout层

参数:

p:被舍弃概率,失活概率

实现细节:
训练时权重均乘以 $\frac{1}{1-p}$ ，即除以1-p，而测试是乘以1-p，这样以保持尺度相同

位置：放置于要失活的网络层之前，输出层之前一般不加dropout

示例：

# -*- coding:utf-8 -*-

import torch
import torch.nn as nn
import matplotlib.pyplot as plt
from tools.common_tools import set_seed
from torch.utils.tensorboard import SummaryWriter

set_seed(1)  # 设置随机种子
n_hidden = 200
max_iter = 2000
disp_interval = 400
lr_init = 0.01


# ============================ step 1/5 数据 ============================
def gen_data(num_data=10, x_range=(-1, 1)):

    w = 1.5
    train_x = torch.linspace(*x_range, num_data).unsqueeze_(1)
    train_y = w*train_x + torch.normal(0, 0.5