卷积层的dropout - dropblock

最新推荐文章于 2024-08-02 18:11:00 发布
最新推荐文章于 2024-08-02 18:11:00 发布
阅读量8.2k 收藏 26
点赞数 7
分类专栏： 深度学习 文献阅读 文章标签： DropBlock
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z0n1l2/article/details/83662639
版权

DropBlock: A regularization method for convolutional networks

dropout的不足

dropout是深度学习中避免过拟合的手段之一，经典网路结构中，dropout都被放到全连接层之后，鲜有放到卷积层之后。这是因为实验证明卷积层后的dropout层对网络泛化能力的改进微乎其微，本文分析了其中的原因：卷积层输出特征图各个元素之间存在很强的相关性，随机把某些原始置为0，其邻域元素带有何其相似的信息，dropout的功能没法实现。基于这个分析，本文提出了针对卷积层输出特征的dropout改进版：dropblock，不是随机把某些元素置零，而是随机把某些block都置零。如下图所示。
在这里插入图片描述why-drop-block

实现

dropblock有两个参数：block_size和 γ \gamma

最低0.47元/天 解锁文章
z0n1l2
关注
专栏目录
PyTorch笔记 - R-Drop、Conv2d、3x3+1x1+identity算子融合
Mystra
07-19 1090
Point-wise Convolution：1x1卷积，不考虑周围点，只考虑点自身，channel mix，通道加权组合，类似MLP，不考虑局部关联性、平移不变形。Dropout在训练和推理时，存在不一致的问题，Dropout本质是集成学习(Ensemble Learning)，推理使用与训练近似的方式，只保证期望相同。R-Dropout将每个子模型的KL散度最小，普遍有效，微调任务改进，每个训练样本输入2次，最小化双向KL散度。提升BatchSize，再切分成2份，可以降低训练成本，测试成本没有差异。
用pytorch代码聊聊卷积正则化dropBlock及原理
m0_62789066的博客
11-03 873
正则化，老生常谈了，从最开始的dropout， weight decay ,还有early stop 等等，都是为了让网络不至于过度学习【过拟合】。但是后面大家惊奇的发现，dropout对于卷积层没啥用，基本只能用在全连接层。对此，一种用于卷积层的正则化方法就应运而生了。他叫dropBlock. 卷积正则化方法 dropBlock 首先看看为什么普通dropout对于卷积没有用。 看上图，卷积网络提取的是有空间语义的信息，每个独立的特征单元单独具备的意义不是那么大，而各个特征单元之间的连接规律，相
（CNN）卷积神经网络（四）dropout
多元思考力
12-04 1万+
第一篇文章介绍了卷积神经网络的数据输入形式和权值的初始化：CNN）卷积神经网络（一） 第二篇文章介绍了卷积操作，常用的激活函数（CNN）卷积神经网络（二） 第三篇介绍了卷积神经网络的池化层，可视化理解以及用数学的角度理解卷积操作：（CNN）卷积神经网络（三) dropout 第一种理解方式 大家应该都有了解过集成学习吧，不了解也没关系，在我看来，集成学习最牛逼的想法就是利用自主采样
深度学习中卷积算子和dropout算子的作用
最新发布
Thomas_Cai的记忆殿堂
08-02 1114
卷积算子和dropout算子实战
卷积网络做Dropout的新利器——DropBlock
一蓑烟雨任平生
11-09 1934
谷歌团队最近提出了一种用在卷积网络上的新的dropout方法——DropBlock，我觉得很有必要向大家介绍一下。 简单的说，Dropout强迫神经网络不单独依赖某一个特征，从而提高网络的泛化能力，但使用卷积网络处理的数据（不仅仅是图像数据）通常具有空间上的关联性，因而对于位于某一空间区域的对象，随机丢弃难以drop掉该对象的信息，Dropout的目的也就不能充分达到。DropBlock则drop...
卷积神经网络：Dropout篇
Inc.Cool
05-18 5854
Dropout作用在hinton的论文Improving neural networks by preventing coadaptation提出的，主要作用就是为了防止模型过拟合。当模型参数较多，训练数据较少时候，根据线性代数相关知识可以知道，当前模型可以非常完美的拟合我们的曲线。但该模型对测试数据集可能就没有很好的表现了，也就是说训练出的模型泛化能力很弱，我们称之为过拟合。从文章题目通过阻止特征
卷积神经网络(CNN)介绍08-Dropout层
lmx_smile的博客
12-02 4467
Dropout 详情见论文Improving neural networks by preventing co-adaptation of feature Detectors Dropout原理 如上图左，为没有Dropout的普通2层全连接结构，记为 r=a(Wv)，其中a为激活函数。 如上图右，为在第2层全连接后添加Dropout层的示意图。即在模型训练时随机让网络的某些...
卷积层之间是否应该使用dropout？
刀刀鱼
11-08 1万+
原因： 请看我的博客 https://blog.csdn.net/sean2100/article/details/83783632   结论： 应该仅在全连接层上使用Dropout操作，并在卷积层之间使用批量标准化。  ...
Python-DropBlock实现一种PyTorch中卷积网络的正则化方法
08-11
在实际项目中，开发者可以从[miguelvr-dropblock-16a518a](miguelvr-dropblock-16a518a)这个压缩包中找到具体的实现代码，该压缩包可能包含了DropBlock的PyTorch实现以及相关的示例或测试。通过阅读和理解这些代码，...
【图像超分】论文精读：Reflash Dropout in Image Super-Resolution（RDSR）
畅游计算机视觉的海洋
05-28 143
Dropout 旨在缓解高级视觉任务中的过拟合问题，但很少应用于低级视觉任务，例如图像超分辨率 (SR)。作为经典的回归问题，SR 表现出与高级任务不同的行为，并且对 dropout 操作很敏感。然而，在本文中，我们表明适当使用 dropout 有利于 SR 网络并提高泛化能力。具体来说，dropout 更好地嵌入到网络的末尾，并且对多重退化设置有很大帮助。这一发现打破了我们的常识，启发我们探索其工作机制。我们进一步使用两个分析工具——一个来自最近的网络解释工作，另一个是专门为此任务设计的。
学习笔记 卷积网络-dropout
xdg15294969271的博客
08-03 336
在我们训练模型的时候，我们给模型准备的数据集进行训练，模型中每个神经元都在运作，因此整个过程是十分严格的。也就是说，我们训练好的模型去识别新的图片时，被识别对象必须和我们的训练集类似才能被识别出来。比如说我们要训练一个识别老鼠的模型，我们的训练集老鼠都是两个耳朵，我们的模型训练好以后，要识别“一只耳”就很难识别出来了。如果使用dropout,那么模型训练过程中，自主丢失一些特征，这样训练出来的模型就有可能识别出“一只耳” ...
dropout层
热门推荐
qq_52302919的博客
02-06 2万+
深度神经网（DNN）中经常会存在一个常见的问题：模型只学会在训练集上分类（过拟合现象），dropout就是为了减少过拟合而研究出的一种方法。 一、简介 当训练模型较大，而训练数据很少的话，很容易引起过拟合，一般情况我们会想到用正则化、或者减小网络规模。然而Hinton在2012年文献：《Improving neural networks by preventing co-adaptation of feature detectors》提出了，在每次训练的时候，随机让一定数量的卷积停止工作，这样可以提高网络的
卷积层，池化层，全连接层，BN层，还有Dropout层
weixin_37721058的博客
10-08 5978
— 卷积层 1.目前值得关注卷积新操作： 参考链接 2.卷积的计算： 上面提到了用11的卷积的好处，可以减少参数达到同样的效果，首先要先了解卷积的参数计算。首先是我们的卷积层的定义一般有卷积核的大小和输入的深度以及想输出的深度。具体操作呢？就是假设我们用1010256的输入，我们用11的去做处理，假设输出64深度，那我们应该表达成为我们用了64个11256的卷积组去做卷积操作。最后我们得到的就是...
dropout层_Dropout的那些事
weixin_39637260的博客
11-28 3117
关注微信公众号：人工智能前沿讲习重磅干货，第一时间送达前言今天在整理卷积神经网络的一些常用结构如，Batch Normalization，Dropout时突然想到，好像Dropout在最近几年的卷积神经网络中并不常见，于是就产生了一个问题：什么时候用Dropout，什么时候不该用。经过大半天的搜索、分析、归纳，现在我就来谈谈目前大家讨论的一些点和网上一些不正确的观点，最后再做个总结。Dropout...
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层
weixin_47567401的博客
03-30 8609
狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层 在这篇文章中您将会从数学和算法两个角度去重新温习一下卷积层,激活函数,池化层,Dropout层,BN层,全链接层，为您以后修改架构或者自己调试模型提供便利。 点这里直接跳读狠补基础-数学+算法角度讲解卷积层,激活函数,池化层,Dropout层,BN层,全链接层卷积层激活函数层Sigmoid函数ReLU函数Softmax函数池化层Dropout层BN层全连接层 卷积层 卷积本是分析数学中的一种运算,在深度学习中使用的卷
卷积神经网络（CNN）中Dropout层的作用是
谷雨的博客
08-20 1万+
Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。 ...
卷积神经网络的dropout layer
zhaoxr233的博客
05-29 7960
1、dropout是什么 深度学习领域大神Hinton，在2012年文献：《Improving neural networks by preventingco-adaptation of feature detectors》提出了，在每次训练的时候，让一半的特征检测器停过工作，这样可以提高网络的泛化能力，Hinton又把它称之为dropout。 Dropout用网络训练时工作变化来定义...
dorpout的作用（训练和测试的时候）
qinglv1的博客
07-30 2269
2.2 Dropout在神经网络中的使用 Dropout的具体工作流程上面已经详细的介绍过了，但是具体怎么让某些神经元以一定的概率停止工作（就是被删除掉）？代码层面如何实现呢？ 下面，我们具体讲解一下Dropout代码层面的一些公式推导及代码实现思路。 （1）在训练模型阶段 无可避免的，在训练网络的每个单元都要添加一道概率流程。 图4：标准网络和带有Dropout网络的比较 对应的...
dropout和dropblock的区别
04-06
dropout和dropblock都是防止过拟合的方法，但是具体实现和效果略有不同。dropout是将一部分神经元按照一定概率随机去掉，不参与当前的正向传播和反向传播，从而减少神经元之间的相互依赖，让网络更具有泛化性。而dropblock是在特征层级上随机去掉一定区域的特征，相当于对特征进行粗粒度的屏蔽，从而增加了特征之间的独立性，减少过拟合。相比之下，dropblock更适用于高分辨率图像的任务，而dropout更适用于较小的网络和自然语言处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值