激活函数变种(Sigmoid、Hard-Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、SELU、ReLU6、Swish、Hard-Swish、Mish)

最新推荐文章于 2024-08-02 19:49:27 发布
最新推荐文章于 2024-08-02 19:49:27 发布
阅读量8.2k 收藏 59
点赞数 9
分类专栏： 深度学习+torch专栏 文章标签： 激活函数 激活函数变种
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42308217/article/details/121089509
版权
激活函数的作用：提供网络的非线性表达建模能力。
  • 线性可分数据：可以通过机器学习(感知机、SVM)找到的线性方程来进行划分。
  • 非线性可分数据：找不到一种线性方程来划分数据，此时需要引入非线性函数。
    在这里插入图片描述
什么样的激活函数是好的激活函数：有上界，无下界，连续，非单调，响应均值为0，无梯度消失和梯度爆炸，易于计算。

Sigmoid

在这里插入图片描述
图中，梯度软饱和表示区域零但是没有到0；输出均值不为0，则网络收敛较慢。

Hard-Sigmoid

在这里插入图片描述

Tanh

在这里插入图片描述

Hard-Tanh

在这里插入图片描述

ReLU

在这里插入图片描述

Leaky ReLU(a为人为设置)和PReLU(a为学习获得)

在这里插入图片描述

ELU

在这里插入图片描述

SELU

在这里插入图片描述

ReLU6

在这里插入图片描述

Swish

在这里插入图片描述

Hard-Swish

在这里插入图片描述

Mish

在这里插入图片描述

总结

  • 在深度不是特别深的CNN中，激活函数的影响一般不会太大。
  • 网络输出层使用Sigmoid
  • 网络中间层优先使用ReLU
  • 深层网络使用Mish、Swish
  • float16/int8时使用ReLU6
  • 轻量级网络可以将Sigmoid换成Hard-Sigmoid，Swish换成Hard-Swish
@会飞的毛毛虫
关注
专栏目录
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
星月夜话
02-05 5325
非线性激活函数详解 饱和激活函数Sigmoid函数tanh函数hard-Sigmoid函数 非饱和激活函数Relu（修正线性单元）：Relu6（抑制其最大值）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）Swishhard-SwishMishMaxout关于激活函数统一说明 参考链接 因为深度学习模型中其它的层都是线性的函数...
常用激活函数（激励函数）理解与总结
热门推荐
tyhj_sf的博客空间
05-13 34万+
引言 学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分： 什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 如果你对以上几个问题不是很清楚，下面的内容对你是有...
激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
最新发布
生活需要深度
08-02 744
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。可在嵌入式上使用：swish非线性激活函数提高了检测精度，但不适合在嵌入式移动设备上使用，因为“S”型函数在嵌入式移动设备上的计算成本更高，求导较为复杂，在量化时计算较慢。在输入小于-1时，输出值将被固定为-1，在输入大于1时，输出值将被固定为1。非线性性：尽管HardTanh函数在输入在[-1,1]之间是线性的，但它在输入小于-1和大于1时是非线性的，因此可以引入一些非线性特性，有助于提高模型的表达能力。
Deep Learning基础--26种神经网络激活函数可视化
weixin_30832143的博客
09-21 2364
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活函数（identity、sigmoid、ReLU 及其变体）。 下面是 26 个激活函数的图...
激活函数的种类
moshiyaofei的博客
10-20 2305
转载自cs231n课件  1.sigmod函数，将所有值压缩到[0,1]。存在的问题： （1）梯度消失  （2）sigmod函数的输出不是以0为中心的 （3）exp()计算的代价大
激活函数(sigmoid、tanh、ReLU、softmax)
tcn760的博客
04-07 7万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
常见的激活函数
余生的博客
09-13 442
Sigmoid函数： Sigmoid 是常用的非线性的激活函数，可以将全体实数映射到（0， 1）区间上，其采用非线性方法将数据进行归一化处理；sigmoid函数通常用在回归预测和二分类（即按照是否大于0.5进行分类）模型的输出层中。 函数： 求导： 优点： Sigmoid的取值范围在(0, 1)，而且是单调递增，比较容易优化、 Sigmoid求导比较容易，可以直接推导得出。**缺点：**Sigmoid函数收敛比较缓慢、由于Sigmoid是软饱和，容易产生梯度消失，对于深度网络训练不太适合（从图上si
激活函数从Sigmoid到各种Relu
YQMind的博客
02-11 2100
在神经网络中，我们使用非线性激活函数，如果采用的是线性激活函数，则还是等价于上一步进行的线性变化，网络再深，也和一层是等价的。 - sigmoid: 11+e−x11+e−x\frac{1}{1+e^{-x}} - tanh: ex−e−xex+e−xex−e−xex+e−x\frac{e^x-e^{-x}}{e^x+e^{-x}} - relu: max(0,x)max(0,x)...
Sigmoid、Tanh、ReLu这三个激活函数有什么缺点或不足，有没有改进的激活函数？
CSDN 精品推荐
08-09 579
Sigmoid、Tanh和ReLU等激活函数在深度学习中被广泛使用，但它们各自也存在一些缺点或不足。总之，不同的激活函数在不同的场景下可能表现更好。选择适合任务和网络结构的激活函数，可以在一定程度上改善梯度问题、训练速度和模型性能。
激活函数设计vhdl_激活函数（relu，prelu，elu，+BN）对比on cifar10
weixin_39594439的博客
12-21 412
激活函数(relu，prelu，elu，+BN)对比on cifar10可参考上一篇：一．理论基础1.1激活函数1.2 elu论文(FAST AND ACCURATE DEEP NETWORK LEARNING BYEXPONENTIAL LINEAR UNITS (ELUS))1.2.1 摘要论文中提到，elu函数可以加速训练并且可以提高分类的准确率。它有以下特征：1)elu由于其正值特性，可以...
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7406
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
深度学习中的激活函数有哪些？
a486259的博客
08-31 1753
深度学习中的激活函数有Sigmoid、Softmax、Tanh、ReLU系列（ReLU、Leaky ReLU、Randomized LeakyReLU、PReLU、ELU、Softplus）、Maxout、Softsign（对称函数）、GELUs（dropout于relu的结合）、Swish、Mish等。使用激活函数只有一个目的：为多层神经网络模型提供非线性。因为，没有激活函数时，多层神经网络的多个矩阵连乘可以化简为单层神经网络的矩阵乘法。...
常见激活函数，你知道几个？
计算机视觉工坊
07-10 771
点击下方卡片，关注「计算机视觉工坊」公众号选择星标，干货第一时间送达作者：小张Tt，编辑：计算机视觉工坊添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、3DGS系列、计算机视觉书籍、优质3D视觉算法源码等。想要入...
激活函数（26个）
梁小憨憨的博客
01-20 2263
最近在学习网络，发现一会这个网络用了这个激活函数，一会那个网络用了那个激活函数，这些激活函数都有什么作用啊，不知道，这里学习一下，整理下来，方便以后查阅。
【转载】激活函数函数有哪些？如何选择激活函数？
江南蜡笔小新
04-29 1402
激活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型. (1)Sigmoid函数 左端趋近于0，右端趋近于1，且两端都趋于饱和. 关于函数饱和解释:参考https://www.cnblogs.com/tangjicheng/p/9323389.html 如果我们初始化神经网络的权值为 [0,1] 之...
激活函数和最常用的10个激活函数
Laok0413的博客
07-22 4831
激活函数是一种添加到ANN中的函数，它决定了最终要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。因此，激活函数是确定神经网络输出的数学方程式。...
23种激活函数
梦的灰色边沿...
11-07 2万+
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...
常用的激活函数
weixin_50644076的博客
02-28 1819
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
绘制5种常见激活函数的图：Sigmoid 激活函数、tanh 激活函数、ReLU 激活函数、Leaky ReLU激活函数、ELU激活函数使用python实现
08-02
以下是使用Python绘制5种常见激活函数的图的代码： ```python import numpy as np import matplotlib.pyplot as plt # Sigmoid 激活函数 def sigmoid(x): return 1 / (1 + np.exp(-x)) # tanh 激活函数 def tanh(x): return np.tanh(x) # ReLU 激活函数 def relu(x): return np.maximum(0, x) # Leaky ReLU 激活函数 def leaky_relu(x, alpha=0.01): return np.maximum(alpha * x, x) # ELU 激活函数 def elu(x, alpha=1.0): return np.where(x > 0, x, alpha * (np.exp(x) - 1)) # 生成 x 值 x = np.linspace(-10, 10, 100) # 绘制激活函数图像 plt.figure(figsize=(10, 6)) plt.plot(x, sigmoid(x), label='Sigmoid') plt.plot(x, tanh(x), label='tanh') plt.plot(x, relu(x), label='ReLU') plt.plot(x, leaky_relu(x), label='Leaky ReLU') plt.plot(x, elu(x), label='ELU') plt.xlabel('x') plt.ylabel('Activation') plt.title('Activation Functions') plt.legend() plt.grid(True) plt.show() ``` 希望这个代码可以帮助你绘制出Sigmoid、tanh、ReLU、Leaky ReLU和ELU激活函数的图像。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@会飞的毛毛虫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值