dropout原理及代码解析

最新推荐文章于 2024-05-18 03:18:15 发布
最新推荐文章于 2024-05-18 03:18:15 发布
阅读量4.1k 收藏 6
点赞数 3
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42277222/article/details/81669795
版权
本文详细介绍了dropout的概念，从ensemble角度和不同动机解释其原理。在训练时，dropout通过随机丢弃神经元增强模型泛化能力。在实际操作中，训练时神经元以概率p被丢弃，测试时所有神经元保留。Keras中dropout的实现通过在训练时对输出除以p来保持期望一致。
摘要由CSDN通过智能技术生成

一.dropout概念

  • 在训练的时候，以一定的概率使得某些神经元从网络中丢弃

image

二.dropout原理解释

1.从ensemble的角度理解

  • 由于每个epoch前向的时候都是以一定概率随机的丢弃某些神经元，所以每个epoch训练的时候其实是在训练不同的网络，类似bagging。

2.从不同动机的角度来理解

  • 类比有性繁殖和无性繁殖，无性繁殖直接从父代保留大段的优秀基因，有性繁殖则是将基因随机拆解破坏了大段基因的联合适应性，从而有更多的多样性。
  • dropout则是强迫一个神经元和随机挑选出来的其他神经元共同工作，削弱了神经元节点之间的联合适应性，增强了泛化能力。

三.dropout细节

1.训练的时候

  • 以一定概率抛弃神经元
  • 通过乘以一个满足概率为p的伯努利，0-1分布的随机数实现

image

2.测试的时候

  • 不抛弃任何一个神经元
  • 对每个单元的参数预先乘以概率p（训练的时候预设的不丢弃的概率</
最低0.47元/天 解锁文章
Mmm_Zzz
关注
专栏目录
Dropout原理详解
CSDN 精品推荐
08-08 535
它通过在训练过程中随机地“丢弃”一部分神经元，从而减少网络对特定神经元的依赖，增加网络的鲁棒性。需要注意的是，Dropout只在训练过程中应用，而在模型的推断过程中，不进行Dropout，因此推断时模型会使用所有神经元进行计算。总之，Dropout是一种有效的正则化技术，通过引入随机性和鲁棒性，可以提高深度学习模型的泛化能力，减少过拟合风险，同时也有助于训练的稳定性和效率。在每次训练迭代中，Dropout会随机地丢弃不同的神经元，因此网络不会对特定的神经元产生过于强烈的依赖，从而减少了过拟合风险。
Dropout原理与代码实战案例讲解
最新发布
程序员光剑
07-08 664
Dropout原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM DropOut原理与代码实战案例讲解
Dropout解析
weixin_43920520的博客
12-03 923
Dropout解析
丢弃法(Dropout)——原理及代码实现
weixin_44042453的博客
08-07 6743
丢弃法(Dropout)原理及代码实现
dropout-从零开始实现-代码详解
scar2016的博客
09-06 637
import torch from torch import nn from d2l import torch as d2l def dropout_layer(x,dropout): assert 0 <= dropout <= 1 if dropout == 0: return x if dropout == 1: return torch.zeros_like(x) mask = (torch.Tensor(x.shape).
dropout源码学习
七七的博客
06-05 608
注： 这是一个学习笔记，不定时更新。里面用到的技巧： 1. max-norm regularization2. dropout 比例的设置，输入层 隐层都可以执行dropout；    输入层一般不使用，如果使用的话keep_prob=0.9;    中间层的keep_prob=0.5-0.8,常用0.53. 优化算法：动量+GD4. 隐单元的激活函数： sigmoid/ relu/ logist...
深度学习中Dropout原理解析
热门推荐
Microstrong
06-19 31万+
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一...
Dropout原理与代码实例讲解
程序员光剑
05-18 472
1. 背景介绍 1.1 深度学习中的过拟合问题 深度学习模型在各种任务中取得了巨大成功，但它们也容易过拟合训练数据。过拟合是指模型在训练集上表现良好，但在未见过的数据上表现不佳的现象。这通常发生在模型过于复杂，学习了训练数据中的噪声和随机波动时。
Tensorflow—Droupout
wangsiji_buaa的博客
05-05 1442
代码：import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 #当前路径 mnist = input_data.read_data_sets("MNISt_data", one_hot=True)运行结果：Extracting MNISt_data/train-image...
dropout代码实现原理
Li12139的博客
01-16 797
def dropout_layer(x,dropout): assert 0 <= dropout<=1 if dropout==1: return torch.zeros_like(x) if dropout==0: return x mask=(torch.randn(x.shape)>dropout).float() return mask*x /(1.0-dropout)
李沐动手学深度学习V2-Dropout丢弃法笔记以及代码实现
flyingluohaipeng的博客
04-12 1894
李沐动手学深度学习V2-Dropout丢弃法笔记以及代码实现
Dropout的深入理解（基础介绍、模型描述、原理深入、代码实现以及变种）
艰难困苦，玉汝于成。
02-09 1万+
深度神经网络包含多个非线性隐藏层，这使得它们有强大的表现力，可以学习输入和输出之间非常复杂的关系。但是在训练数据有限的情况下，深度神经网络很容易过度学习造成过拟合，过拟合是深度神经网络的一个非常严重的问题，此外，神经网络越大，训练速度越慢，Dropout可以通过在训练神经网络期间随机丢弃单元来防止过拟合，实验证明Dropout有很好的效果。
深度学习中的epoch、 iteration、batchsize和dropout的含义
hackerlee
01-22 3649
1.batchsize： 批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； 2.iteration： 1个iteration等于使用batchsize个样本训练一次； 3.epoch： 1个epoch等于使用训练集中的全部样本训练一次； 举个例子，训练集有1000个样本，batchsize=10，那么： 训练完整个样本集需要： 100次
针对目标检测的数据增强
qq_42277222的博客
08-17 1万+
前言 图像的目标增强普遍的包含旋转，平移，镜像等等，比较新的包括cutout等，其实也是一种连续的dropout 图像的增强在我的理解是一种正则，增强模型的泛化能力。从原始图像中得到新的数据在信息论角度还是不太可能。 目标检测的图像增强跟普通的图像增强不同的地方是还得考虑bounding box如何进行相应的变化 增强方式（持续更新） 裁剪（会改变boundingbox）: 普通的...
暂退法（Dropout）
sikh_0529的博客
09-06 1万+
暂退法（Dropout）
前馈神经网络dropout实例
要把所有那些负面的信息当做对自身行为的评价，而不是对自身价值的评判。
08-18 716
关于dropout的原理，网上资料很多，一般都是用一个正态分布的矩阵，比较矩阵元素和（1-dropout），大于（1-dropout）的矩阵元素值的修正为1，小于（1-dropout）的改为1，将输入的值乘以修改后的矩阵，再除以(1-dropout)。疑问：数值经过正态分布矩阵的筛选后，还要除以 (1-dropout)，这样做的原因是什么？
简单叙述Dropout原理
03-21
Dropout是一种在神经网络中防止过拟合的技术，其原理是在训练过程中随机地将一些神经元的输出置为0，这样可以强制神经网络去学习更加鲁棒的特征，从而提高其泛化能力。具体来说，Dropout会在每次训练中随机选择一些神经元，并将其输出置为0，这样可以使得神经元之间的依赖关系更加复杂，从而减少过拟合的风险。同时，Dropout还可以提高神经网络的训练速度，因为每次训练只需要更新部分神经元的权重。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值