ReLu 和 Dropout的疑问

已于 2024-01-04 10:51:38 修改
阅读量223 收藏
点赞数
分类专栏： AI学习之路 文章标签： 人工智能 机器学习 python
于 2023-05-12 17:02:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tardis1/article/details/130646162
版权

Relu = if(x>0) then x; else 0
作用就是把隐藏层结果小于0的因子剔除
使得结果非线性
Dropout ： h在一定概率p(超参数自己调节)下为0
h在1-p的概率下为h/(1-p)
同样是使得某些因子失效，可以防止过拟合
Dropout 只在多层感知机上面用

我就在想两者作用是不是都一样，因为都是让一些因子为0失去作用
但是两者还是有区别的：

Relu 是固定
dropout 是随机
而且dropout 有缩放功能
relu 没有

Tardis1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
batch normalize、relu、dropout 等的相对顺序
pineapple的博客
07-27 3333
batch normalize、relu、dropout 等的相对顺序 1.https://blog.csdn.net/B08370108/article/details/83783008 batch norm、relu、dropout 等的相对顺序 Ordering of batch normalization and dropout in TensorFlow? 在 Batch Normalization: Accelerating Deep Network Training by Reducing I
卷积神经网络-BN、Dropout、leaky_relu (tensorflow)
weixin_42078618的博客
09-04 8293
神经网络是一种比较难以理解的结构，关于神经网络的各种层次的说明解释，大家请移步百度、google 本次的分享会从人类视觉角度、生物角度谈一谈神经网络中的一些优化算法。   首先，计算机领域设计出来的算法、模型和数据结构，都可以理解为一种建模操作（这是一种解释方式）。比如：决策树，可以理解为把数据结构仿造树枝树干的结构进行设计的，以树为模型；SVM，可以理解为把数据堆从多维的角度，进行高维分类...
Relu和dropout的理解
jjw_zyfx的博客
03-03 1189
先看代码 def dropout_layer(X, dropout): """该函数以dropout的概率丢弃张量输入X中的元素 """ assert 0 <= dropout <= 1 # 在本情况中，所有元素都被丢弃。 if dropout == 1: return torch.zeros_like(X) # 在本情况中，所有元素都被保留。即不用丢弃 if dropout == 0: return X
深度卷积神经网络(AlexNet)——【torch学习笔记】
诗酒趁年华。
04-26 2829
AlexNet于2012年推出，以突破性的ImageNet分类论文130的第一作者Alex Krizhevsky命名。AlexNet采用了8层卷积神经网络，在2012年ImageNet大规模视觉识别挑战赛中以惊人的巨大优势获胜。这个网络首次证明了通过学习获得的特征可以超越人工设计的特征，从而打破了计算机视觉领域的原有模式。
Debug历程：在Relu后加dropout
MissShihong的博客
07-23 1824
起因 老师说dropout一般加在activation后面；于是我用pytorch开始尝试。在Relu之后添加dropout之后，发生报错： RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation 过程 在Github中搜到 we cannot have two subsequent inplace operations , 作答者还举了个例子：
干货|（DL~3）deep learning中一些层的介绍
小白学视觉
01-06 1099
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达简介一、relu层1、前向传播2、反向传播二、dropout层1、dropout工作原理2、在哪里使用dropout3...
实现了BP神经网络，包括了线性层、leakyrelu和dropout，用作BR算法组入队考核。.zip
最新发布
12-28
在本项目中，我们看到实现的BP神经网络包含了线性层、LeakyReLU激活函数以及Dropout技术，这些都是深度学习领域的重要组成部分，用于构建和优化神经网络模型。 1. **线性层（Linear Layer）**：线性层是最基础的...
tenforflow_five_layers_relu_lrdecay_dropout.py
04-10
tenforflow_five_layers_relu_lrdecay_dropout
3.13 dropout
01-20
深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。 3.13.1 方法 单隐藏层的多层感知机:其中输入个数为4，隐藏单元个数为5，且隐藏单元hih_ihi​（i=1,…,5i=1, \ldots, 5i=1,…,5）的计算表达式为 hi=ϕ(x1...
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
Dropout-原理.doc
09-04
2. 卷积网络：由于卷积自身的稀疏化以及稀疏化的 ReLu 函数的大量使用，dropout 策略在卷积网络隐藏层中使用较少。 dropout 是一种非常有效的避免过拟合的技术，已经被广泛应用于深度学习领域。
深度学习优化大全(ReLu,Maxout,RMSProp,正则化，dropout)
ygp12345的博客
10-04 815
Recipe of Deep Learning 我们来回顾一下deep learning的步骤，定义一个函数的集合，然后找损失函数，然后在函数集和里挑选一个最佳的函数，这个最佳的函数就是Neural network，然后再看训练集上的表现如何？如果不好就重新进行红框框住的部分，如果训练集表现好，那么就看测试集上表现怎么样，如果测试集上表现不好，就说明过拟合了！！如果测试集表现好，则说明这个function是ok的。 不要总是把loss大归因于过拟合，如下图：当我们看到测试集上56层的NN居然比20层的NN表
玩转深度学习实战教程
05-08
玩转深度学习视频培训课程，详细讲解深度学习的原理和利用深度学习框架TensorFlow进行项目实战。课程通过Kaggle竞赛平台的Titanic问题讲解TensorFlow的基本用法以及问题处理的常用技巧，讲解深度学习图像领域的卷积神经网络CNN和多个经典的网络架构、CNN的应用，讲解自然语言处理领域的RNN、LSTM以及它们的多种变种结构，构建语言模型和对话机器人，介绍损失函数和优化深度学习算法在TensorFlow中的实现。
机器学习、深度学习实战细节（batch norm、relu、dropout 等的相对顺序）
weixin_30819085的博客
10-30 1069
cost function，一般得到的是一个 scalar-value，标量值； 执行 SGD 时，是最终的 cost function 获得的 scalar-value，关于模型的参数得到的； 1. 分类和预测 评估： 准确率； 速度；健壮性； 可规模性； 可解释性； 2. Data Augmentation 平移、旋转/翻转、缩放...
浅谈Dropout
热门推荐
博观而约取，深研而广求
08-25 1万+
在全连接网络部分，Dropout这一超参得到了较为广泛的应用，同时取得了不错的效果。下面就来简单地谈谈Dropout。什么是Dropout我们知道，典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。综合而言，上述过程可以分步骤为： 随机删除网络中的一些隐藏神经元，保持输入输出神经元不变； 将输入
BN、dropout的几个问题和思考
lecturekeke的专栏
01-03 7086
1、BN的scale初始化 scale一般初始化为1.0。 联想到权重初始化时，使用relu激活函数时若采用随机正太分布初始化权重的公式是sqrt(2.0/Nin)，其中Nin是输入节点数。即比一般的方法大了2的平方根（原因是relu之后一半的数据变成了0，所以应乘以根号2）。 那么relu前的BN，是否将scale初始化为根号2也会加速训练？ 这里主要有个疑点：BN的其中一个目的是统一各
maskrcnn_benchmark理解记录——关于batch norm、relu、dropout 的相对顺序以及dropout可不可用
m0_37644085的博客
04-11 3559
ps： 1.如何在卷积神经网络中实现全局平均池化。在此之前，建议阅读ResNet这篇论文，以了解全局平均池化操作的好处。代替全连接层。 2.dropout只可能在box分支的两个全连接层那里，这个可以后期finetuning下。全连接网络可以使feature map的维度减少，进而输入到softmax，但是又会造成过拟合，可以用pooling来代替全连接。那就解决了之前的问题：要不要在f...
神经网络之激活函数 dropout原理解读 BatchNormalization 代码实现
wzy的博客
12-19 8890
神经网络之激活函数(Activation Function) 本博客仅为作者记录笔记之用，不免有很多细节不对之处。 还望各位看官能够见谅，欢迎批评指正。 更多相关博客请猛戳：http://blog.csdn.net/cyh_24 如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50593400
relu和sigmoid
07-25
ReLU（Rectified Linear Unit）和Sigmoid 是两种常用的激活函数。 ReLU是一种非线性激活函数，它将所有负值输入映射为零，而将正值输入保持不变。数学表达式为 f(x) = max(0, x)。ReLU具有简单的计算和较低的计算...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值