4.6. 暂退法（Dropout）

Rondox

已于 2023-03-08 15:59:12 修改

阅读量162

点赞数

分类专栏：深度学习笔记 pytorch 文章标签：深度学习神经网络人工智能

于 2023-03-08 15:31:17 首次发布

本文链接：https://blog.csdn.net/qq_36632604/article/details/129404412

版权

笔记同时被 3 个专栏收录

34 篇文章 0 订阅

订阅专栏

深度学习

4 篇文章 0 订阅

订阅专栏

pytorch

4 篇文章 0 订阅

订阅专栏

Dropout是一种常用的正则化方法，通过在训练过程中随机关闭神经网络的一部分节点来防止过拟合。在给定的例子中，当dropout率为0时，所有节点都被保留；为1时，所有节点都被移除；介于0和1之间时，按概率保留节点。这使得模型的输出不依赖于单个节点，增强了泛化能力。

摘要由CSDN通过智能技术生成

4.6. 暂退法（Dropout） — 动手学深度学习 2.0.0 documentation

比如在图4.6.1中，删除了h2和h5，因此输出的计算不再依赖于h2或h5，并且它们各自的梯度在执行反向传播时也会消失。这样，输出层的计算不能过度依赖于h1,…,h5的任何一个元素

代码段

import torch
from torch import nn
from d2l import torch as d2l


def dropout_layer(X, dropout):
    assert 0 <= dropout <= 1
    # 在本情况中，所有元素都被丢弃
    if dropout == 1:
        return torch.zeros_like(X)
    # 在本情况中，所有元素都被保留
    if dropout == 0:
        return X
    mask = (torch.rand(X.shape) > dropout).float() #模仿x形状生成随机数 并用于丢弃判断
    return mask * X / (1.0 - dropout) #最后返回/(1-p)


X= torch.arange(16, dtype = torch.float32).reshape((2, 8))
print(X)
print(dropout_layer(X, 0.))
print(dropout_layer(X, 0.5))
print(dropout_layer(X, 1.))

调试图用A装random的值不然变了