Dropout法

最新推荐文章于 2024-07-16 09:37:15 发布

纵浪大化中，喜，惧

最新推荐文章于 2024-07-16 09:37:15 发布

阅读量181

点赞数

分类专栏：机器学习课程笔记文章标签：深度学习 pytorch 人工智能

本文链接：https://blog.csdn.net/beyondzty/article/details/127420265

版权

机器学习课程笔记专栏收录该内容

4 篇文章 0 订阅

订阅专栏

在层之间加噪音,而不是在输入中加噪音,训练时使用,validate和test时不用,通常用在全连接层输出,CNN不用
在这里插入图片描述

在这里插入图片描述

使用方法

在这里插入图片描述

import torch
from torch import nn
from d2l import torch as d2l


def dropout_layer(X, dropout):
    assert 0 <= dropout <= 1
    # 在本情况中，所有元素都被丢弃
    if dropout == 1:
        return torch.zeros_like(X)
    # 在本情况中，所有元素都被保留
    if dropout == 0:
        return X
    mask = (torch.rand(X.shape) > dropout).float()
    return mask * X / (1.0 - dropout)```