如何在MXNet中使用channel Dropout (Dropout2d)

最新推荐文章于 2023-10-24 20:58:58 发布
最新推荐文章于 2023-10-24 20:58:58 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： 细节 文章标签： mxnet dropout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010158659/article/details/88642035
版权

在很多实际使用场景下，特别是语义分割等输出像素级预测结果的全卷积神经网络中，经常会使用到随机drop特征图维度的操作。在Pytorch中，可以直接使用torch.nn.Dropout2d实现相应功能。然而在MXNet中可能略显麻烦。

查阅MXNet文档并不能直接找到所需的信息，因为Dropout模块被定义为了最基础版本的、随机drop数组中任意元素的功能。唯一可能与需求相关的参数’axes’，其定义过于晦涩，无法理解。
在这里插入图片描述

而在更加“友好”的Gluon文档中，对应模块的解释仍然令人费解。简单查阅文档后仍不知道如何设置该参数。
在这里插入图片描述

为了实现drop某个channel的功能，当输入特征为4维的时候（NxCxHxW），mx.sym.Dropout应该这样使用：

import mxnet as mx
import numpy as np
a=np.array([1,2,3,4,5
最低0.47元/天 解锁文章
KFXW
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【MXNet学习16】在MXNet中使用Dropout
qq_35091353的博客
01-22 322
1、Dropout层应该加在什么地方 做分类的时候，Dropout 层一般加在全连接层后（输出层的全连接层后不用drop了），防止过拟合，提升模型泛化能力，而很少见到卷积层后接Dropout （原因主要是 卷积参数少，不易过拟合） 2、Dropout层作用分析 2.1、参考文献 Dropout是Srivastava等人在2014年的一篇论文中提出的一种针对神经网络模型的正则化方法 Dropout: A Simple Way to Prevent Neural Networks from Overfitti
MXNet动手学深度学习笔记：Dropout
视觉与物联智能
05-09 226
  #coding:utf-8 from mxnet import ndarray as nd def dropout(X,drop_probability): keep_probability = 1 - drop_probability assert 0 <= keep_probability <= 1 if keep_probability == ...
MXNet动手学深度学习笔记：Gluon实现Dropout
视觉与物联智能
05-09 338
  #coding:utf-8 ''' 两个隐藏层的多层感知机 ''' from mxnet import gluon from mxnet import ndarray from mxnet import autograd import numpy as np import matplotlib.pyplot as plt from mxnet import nd def transfor...
Weighted Channel Dropout for Regularization of Deep Convolutional Neural Network
qq_15751687的博客
12-13 340
  Dropout技术时常被提及，但更多的出现在FC层，下面文章是我翻译的一篇关于卷积层实现dropout的文章，虽然我也不觉得这篇文章提到的方法一定很好用，但是里面关于dropout技术的相关介绍还是值得看一看的。 介绍   近年来，深度卷积神经网络蓬勃发展，显著的提升了各种视觉任务性能。CNN的成功很大程度上是因为他是由多个非线性隐含层构成的结构，这些隐含层包含数百万个参数，因此能够学习输入输出之间的复杂关系。然而，在训练数据有限的情况下，很可能出现过拟合，导致性能下降。   在之前的文献中，已经提出了
Weighted channel dropout for regularization of deep convolutional neural network
liguandong
03-16 1623
Weighted channel dropout for regularization of deep convolutional neural network （把一些网络结构内部特性显式的建模） 在一个CNN的卷积层的堆栈内，所有的通道都是由之前的层生成的，并在下一层中得到平等的对待。这样的分布可能不是最优的，因为事实可能证明某些特征比其他特征更有用。对于每张输入图像，更高层中仅有少量通道...
MXNet_gluon中文教程
06-20
这是一个深度学习的教学项目。我们将使用 Apache MXNet (incubating) 的最新 gluon 接口来演示如何从0开始实现深度学习的各个算法。
Python-在MXNet中实现健壮的2D和3D人脸对齐
08-11
本篇文章将深入探讨如何在MXNet中实现2D和3D人脸对齐，以创建一个健壮的系统。 2D人脸对齐主要涉及识别和定位关键面部特征点，如眼睛、鼻子和嘴巴等。通常，这可以通过使用预训练的卷积神经网络（CNN）模型来实现。...
MXNet中文学习笔记
02-28
MXNet中文学习笔记
mxnet框架使用小结
01-06
import mxnet as mx from mxnet import autograd, gluon, init, nd from mxnet.gluon import loss as gloss, nn import time net = nn.Sequential() net.add(nn.Conv2D(channels=6, kernel_size=5, activation='...
从mxnet的rec数据中还原图片
08-20
python程序，可以从mxnet的rec数据文件中，将图片还原出来
Mxnet (8):过拟合处理之丢弃法（Dropout）
泛泛之素
09-23 725
1. Dropout 经典的泛化理论表明，要缩小训练和测试性能之间的差距，应该然模型尽可能简单。简单性也可称为平滑性，模型不应该对输入的微小变化敏感。例如，当我们对图像进行分类时，我们期望向像素添加一些随机噪声并不造成影响。当训练具有多个层次的深度网络时，注入噪声仅在输入输出映射上就增强了平滑度。 这种方法称为dropout，在正向传播过程中计算每一个内部层的时候注入噪声，这也成为了训练神经网络的标准技术。在整个训练过程中，每次迭代过程中，在计算下一层之前将部分节点清零。 如下图就是将一个5个隐藏单元的ML
Operators in MXNet-Dropout
仰望星空的博客
05-11 1448
Operators in MXNet-Dropout
nn.Dropout2d 与 nn.Dropout
weixin_40666015的博客
12-04 3989
nn.Dropout2d 与 nn.Dropout m = nn.Dropout2d(p=0.2) input = torch.randn(5,5,5) output = m(input) print(output) tensor([[[-1.3648, 0.1427, -0.8344, 0.0752, -2.2009], [ 0.1411, 0.4648, 0.1630, 1.0168, -0.5513], [ 0.7473, -1.3482, 0.275
防止过拟合-Dropout2d
xingghaoyuxitong的博客
01-25 1765
Dropout的过程 1）按照概率p，对每个输入channel进行伯努利采样，随机采样到的channel置为0，输出 2）将1）的输出结果乘以1/(1-p)就是做了dropout的结果 代码验证： #%% import torch import torch.nn as nn #%% 模型 conv1 = nn.Conv2d(2,2,kernel_size=3,stride=1,padding=0) m = nn.Dropout2d(p=0.4) #%% 数据准备 N = 2 C = 2 H .
dropout——gluon
Think
05-02 371
from mxnet import nd def dropout(X, drop_probability): keep_probability = 1 - drop_probability assert 0 <= keep_probability <= 1 # 这种情况下把全部元素都丢弃。 if keep_probability == 0: ...
(Pytorch)nn.Dropout以及Dropout1d,Dropout2d,Dropout3d是什么意思
qq_43391414的博客
10-09 4674
其实nn.Dropout并不是Dropout1d,Dropout2d,Dropout3d中任何一个的特例，他们应用场景并不相同，不是相互包含的关系。
pytorch上的dropout使用（dropout dropout2d）
最新发布
m0_74141799的博客
10-24 1804
dropout是一类用于神经网络训练或推理的随机化技术，被广泛的应用与神经网络正则化、模型压缩等任务。dropout最初视为密集的神经网络层量身定制，后也适用于卷积和循环神经网络层。定义：随机丢弃网络层之间的链接，概率时超参数p。作用：一般时为了防止过拟合。API：类函数：nn.Dropout函数性质：nn.functional.dropout参数：（1）p：对于input中各元素zero out 的概率，如当p=1时，output为全0。
[深度学习系列]-Albumentations数据增强方法（可结合pytorch调用）
Monster_H7的博客
12-07 4785
Albumentations数据增强方法 目录 Albumentations数据增强方法 1.前言-常用数据增强方法 2.使用-参考GIt example 3.Augmentations examples.及效果图的展示 1.MultiplicativeNoise 2.ToSepia 3.JpegCompression 4.ChannelDropout 5.ChannelShuffle 6.Cutout 7.ToGray 8.InvertImg 9.VerticalFlip.
SpatialDropout
yanhe156的博客
01-04 4170
Dropout()和SpatialDropout1D()的区别： 假设input_shape为batch_size, timesteps, features, Dropout()，Dropout()是在所有数据上dropout，SpatialDropout1D()会按对features的某几个维度进行dropout，如图： 左图：Dropout()， 右图：SpatialDropout1D() ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值