【激活函数】关于ReLU6的解释

已于 2024-10-22 22:45:41 修改
阅读量1.2w 收藏 18
点赞数 13
分类专栏： 激活函数 文章标签： 深度学习 神经网络 计算机视觉 卷积神经网络 人工智能
于 2021-03-15 16:34:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Roaddd/article/details/114839144
版权

       卷积之后通常会接一个 ReLU 非线性激活，在 MobileNet 中使用 ReLU6。ReLU6 就是普 通的 ReLU 但是限制最大输出为 6，这是为了在移动端设备 float16/int8 的低精度的时候也能 有很好的数值分辨率。如果对 ReLU 的激活范围不加限制，输出范围为 0 到正无穷，如果激 活值非常大，分布在一个很大的范围内，则低精度的 float16/int8 无法很好地精确描述如此 大范围的数值，带来精度损失。

姚路遥遥
关注
专栏目录
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
星月夜话
02-05 5510
非线性激活函数详解 饱和激活函数Sigmoid函数tanh函数hard-Sigmoid函数 非饱和激活函数Relu（修正线性单元）：Relu6（抑制其最大值）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）Swishhard-SwishMishMaxout关于激活函数统一说明 参考链接 因为深度学习模型中其它的层都是线性的函数...
激活函数总结（六）：ReLU系列激活函数补充(RReLU、CELU、ReLU6)
走在深度学习前沿的小宋
08-12 2051
本文为前面介绍的激活函数进行一定的补充，介绍了一系列的ReLU变体激活函数，包括：RReLU、CELU、ReLU6等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：各种各样的变体都有其应用领域，现阶段就这三种变体而言，ReLU6具有较为普遍的应用场景。。。
ReLU和ReLU6
最新发布
chen_znn的博客
02-23 2682
本文介绍了ReLU和ReLU6的优缺点以及如何选择合适的激活函数
relu6激活函数
weixin_30644369的博客
05-07 1558
relu6 = min(max(features, 0), 6) This is useful in making the networks ready for fixed-point inference. If you unbound the upper limit, you lose too many bits to the Q part of a Q.f number. Keeping ...
激活函数--Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等
zisuina_2的博客
02-03 9046
激活函数 目前自己使用比较多的激活函数RELU, RELU6; LeakyReLU; SELU; Mish ；激活函数看：计算量；准确率； 大多数激活函数pytorch里有已经包装好了：　 Non-linear Activations (weighted sum, nonlinearity) Non-linear Activations (other)[https://pytorch.org/docs/stable/nn.html](https://pytorch.org/docs/stable/nn.ht
Relu6 作用
热门推荐
weixin_NineDays66
07-09 4万+
ReLU6 首先说明一下ReLU6，卷积之后通常会接一个ReLU非线性激活，在Mobile v1里面使用ReLU6，ReLU6就是普通的ReLU但是限制最大输出值为6（对输出值做clip），这是为了在移动端设备float16的低精度的时候，也能有很好的数值分辨率，如果对ReLU的激活范围不加限制，输出范围为0到正无穷，如果激活值非常大，分布在一个很大的范围内，则低精度的float16无法很...
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将仿射函数进行非线性化，可以拟合出更多的情况。更详细的解答可以参考知乎激活函数的解释 ReLU函数的梯度问题 首先谈一下sigimoid函数的梯度，通常不选用它是因为sigmoid函数可能有梯度消失的情况，原因可以看它的梯度函数图 可以看到蓝色的线是sigmoid函数图像，橘色的线是它的梯度图。当输入值特别大或者特别小的时候，sigmoid函
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
源的博客
01-27 4353
文章目录1.什么叫激活函数2.激活函数的作用3.激活函数的类型4.Sigmoid/Logistic5.tanh6.ReLU 1.什么叫激活函数 激活函数可作用于感知机(wx+b)累加的总和 ,所谓的激活就是把输出值必须要大于，节点才可以被激活，不然就处于睡眠状态。 2.激活函数的作用 提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。由于输
pytorch方法测试——激活函数(ReLU)详解
12-23
**PyTorch中的激活函数ReLU详解** 在深度学习领域，激活函数是神经网络的重要组成部分，它们引入非线性，使得神经网络能够学习更复杂的模式。ReLU（Rectified Linear Unit）是最常用的激活函数之一，因其简单高效而...
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数...
激活函数ReLU
August-us的博客
03-18 4万+
激活函数ReLUReLUPReLU(Parametric)E(Exponential)LU系列文章： ReLU   Relu(Rectified Linear Unit)函数也可谓是一个里程碑式的激活函数。我们之前已经谈到过sigmoid函数和tanh函数的缺点，我们接下来就看relu如何回避这些不利之处，同时又会带来什么新的问题。   先看relu的函数表达式，relu(x)=max(x,0)r...
tensorflow 激活函数relu6为什么是6
northeastsqure的专栏
03-04 1万+
普通relu， y=max(0, x), 相当于无限多个bernoulli分布，即无限多个骰子 relu6, y= min(max(0,x), 6), 相当于有六个bernoulli分布，即6个硬币，同时抛出正面，这样鼓励网络学习到稀疏特征。 网络里面每一个输出n，相当于n个bernoulli分布的叠加。 通过实验发现，用6，效果比较好。所以选用了6 参考： https://sta...
深度学习——激活函数ReLu
qq_43332629的博客
05-12 508
通常意义下，线性整流函数指代数学中的斜坡函数，即 其中是输入特征，经过线性变化之后的输出结果，比较其与0之间的大小关系，作为ReLu函数的输出 优点： 1. 解决了gradient vanishing问题 (在正区间)； 2.计算速度非常快，只需要判断输入是否大于0； 3.收敛速度远快于sigmoid和tanh. 缺点： 1.ReLU的输出不是zero-centered; 2.某些神经元可能永远不会被激活(Dead ReLU Problem)，导致相应的参数永远不能被更新。有两个主要原因可
激活函数总结
红黑树
01-08 641
目录sigmoidTanhsoftplusReLU(Rectifier Linear Unit)系列ReLULeaky ReLU/ PReLU/ RReLUBReLU(Bounded ReLU)ELUSELUGELUSwishMishMaxoutReference sigmoid 公式： f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}f(x)=1+e−x1​ 图像： Tanh 公式： f(x)=ex−e−xex+e−xf(x) = \frac{e^x - e^{-x}}{e
激活函数的总结
ArinaY的博客
09-04 1881
激活函数的简要介绍
RELU6
专栏
06-23 811
卷积之后通常会接一个 ReLU 非线性激活，在 MobileNet 中使用 ReLU6。ReLU6 就是普 通的 ReLU 但是限制最大输出为 6，这是为了在移动端设备 float16/int8 的低精度的时候也能 有很好的数值分辨率。如果对 ReLU 的激活范围不加限制，输出范围为 0 到正无穷，如果激 活值非常大，分布在一个很大的范围内，则低精度的 float16/int8 无法很好地精确描述如此 大范围的数值，带来精度损失。 ...
pytorch relu6
jacke121的专栏
07-08 9745
tf代码是： relu6 = min(max(features, 0), 6) 结果是把小于0的变成0，大于6的取6，y= torch.clamp(x,0,6)计算结果一样的。 缺点：这个训练收敛比较快，但是收敛比较好后，目标检测网络回归框不太准。 import torch import torchvision import torch import torch.nn as nn ...
PyTorch ReLU6网络层
小鹏AI
11-03 944
对于relu6, 采用：y = min((max(0, x)), 6)定义，即在relu的基础上，限定了特征值的最大值为6，即为6个bernoulli分布。对于relu，采用：y = max(0, x)定义, 即 特征值小于0的即为0， 特征值大于0的不变，相当于x个bernoulli分布。因此，对于一些移动端设备，我们为了提升网络的在移动端(npu之类的)，我们采用定点进行推理（限制为6，主要是在移动端int8的低精度的时候，为了也能让模型有很好的特征提取。我们再谈谈MobileNets，
prelu激活函数relu6激活函数谁好
04-28
PReLU激活函数和ReLU6激活函数都是常用的激活函数，它们各有优缺点，具体使用要根据具体情况而定。 PReLU激活函数是一种带参数的修正线性单元，相比于ReLU激活函数，它在负值区域可以有小的斜率，这样可以在一定程度上缓解ReLU激活函数在负值区域出现的“死亡神经元”问题。同时，PReLU激活函数的参数可以通过反向传播进行学习，所以具有更强的表达能力。但是，PReLU激活函数的计算量较大，训练时间较长。 ReLU6激活函数在ReLU激活函数的基础上加入了上限约束，即当输入大于6时，输出为6。这样可以避免输入值过大，导致网络不稳定的问题。但是，ReLU6激活函数在负值区域依然存在“死亡神经元”问题，且不具备可学习参数，表达能力较弱。 因此，PReLU激活函数和ReLU6激活函数各有其优点和缺点，具体使用要根据具体情况而定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值