激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)

最新推荐文章于 2024-04-19 20:49:34 发布
最新推荐文章于 2024-04-19 20:49:34 发布
阅读量543 收藏 3
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 机器学习 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132358989
版权

激活函数总结（十四）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Tensorflow 自定义高斯激活函数
qq_2918的博客
01-18 4197
Gaussian non-linear activation function tensorflow自带了几个常用的激活函数，但是最近手头的项目，激活函数用的既不是relu，也不是sigmod，而是一个很生僻的函数，高斯激活函数（Gaussian activation function）。 自定义高斯函数形式：f(x) = exp( - (x^2) / (sigma^2) ) 实验中的 si...
【DL经典回顾】激活函数大汇总（三十四）（Gaussian附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-20 781
Gaussian激活函数利用高斯函数（或正态分布函数）的性质，将输入映射到一个具有特定形状的输出。高斯函数在神经网络中的应用是为了利用其钟形的平滑特性，通常用于径向基函数网络（RBF网络）。本博客重点介绍这个激活函数。
机器学习中的数学——激活函数（十二）：高斯误差线性单元(GELUs)
冯·诺依曼
10-06 2万+
高斯误差线性单元为Gaussian Error Linerar Units，来源于论文《Gaussian Error Linear Units (GELUs)》。在神经网络的建模过程中，模型很重要的性质就是非线性，同时为了模型泛化能力，需要加入随机正则，例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活)，而随机正则与非线性激活是分开的两个事情， 而其实模型的输入是由非线性激活与随机正则两者共同决定的。 高斯误差线性单元正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直
【神经网络深度学习】-激活函数
TU商的博客
10-21 786
激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。其主要目的是将A-NN模型中一个节点的输入信号转换成一个输出信号。该输出信号现在被用作堆叠中下一个层的输入。如果我们不运用激活函数的话，则输出信号将仅仅是一个简单的线性函数。线性函数一个一级多项式。现如今，线性方程是很容易解决的，但是它们的复杂性有限，并且从数据中学习复杂函数映射的能力更小。一个没有激活函数的神经网络将只不过是一个线性回归模型（
激活函数汇总
最新发布
qq_59815419的博客
04-19 1021
特点：Softmax 函数可视为 Sigmoid 函数的泛化形式， 其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量， 其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。
高斯误差线性单元激活ReLU以外的神经网络
大伟先生
07-18 2201
机器学习社区中的一些讨论使GELU重新成为人们关注的焦点。在计算机视觉、自然语言处理和自动语音识别任务中，使用 GELU 激活函数的模型的性能与使用 ReLU 或高级版本 ELU（指数线性单位）激活函数的模型的性能相当或超过。Hendrycks和Gimpel提出了非线性激活函数GELU，这是一个与随机正则子相关的公式，因为它是对自适应dropout的修正期望，为神经元输出提供了更高的概率视图。
GELU激活函数
qq_41296039的博客
04-14 1万+
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
30年激活函数回顾性总结.pdf
04-17
### 30年激活函数回顾性总结 #### 概述 在过去三十年中，神经网络及其在深度学习领域的应用已经成为了解决复杂问题的关键工具，并在众多领域展现出了非凡的能力。其中，激活函数（Activation Functions, AFs）作为...
work.zip_copula_gaussian copula_密度函数_密度函数图_概率密度函数
07-15
自制，绘制常用 Copula函数的概率密度函数图。
Gaussian Hypergeometric Function：计算高斯超几何函数-matlab开发
05-29
在MATLAB环境中，高斯超几何函数（Gaussian Hypergeometric Function）是一个强大的数学工具，广泛应用于各种领域，包括但不限于特殊函数理论、物理、工程、概率论和统计学。这个函数通常表示为 _2F1(a, b; c; z)，...
激活函数论文GELUS1
08-03
本文主要介绍了一种新的神经网络激活函数Gaussian Error Linear Unit（GELU），该函数能够在计算机视觉、自然语言处理和语音处理任务中取得性能改进。 首先，作者回顾了神经网络激活函数的发展历程。早期的神经元...
Gaussian function_高斯函数的叠加与干涉_函数_干涉_图_
10-01
在IT领域，尤其是在科学计算和数据分析中，高斯函数是一个非常重要的数学工具。高斯函数，也称为正态分布函数或高斯分布，是概率论和统计学中的一个基本概念，广泛应用于各种科学领域，包括物理学、工程学、生物学、...
激活函数
u010002387的专栏
10-12 1万+
关于神经网络激励函数的作用，常听到的解释是：不使用激励函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力不够，激励函数可以引入非线性因素。 其实很多时候我们更想直观的了解激励函数的是如何引入非线性因素的。 我们使用神经网络来分割平面空间作为例子。 无激励函数的神经网络 神经网络最简单的结构就是单输出的单层感知机，单层感知机只有输入层和输
【机器学习】神经网络-激活函数-面面观(Activation Function)
热门推荐
AutoVision (by 仙道菜)
01-27 7万+
日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己： 1. 为什么需要激活函数？ 2. 激活函数都有哪些？都长什么样？有哪些优缺点？ 3. 怎么选用激活函数？ 本文正是基于这些问题展开的，欢迎批评指正！
GELU激活函数: 高斯误差线性单元
十里清风
09-07 3884
文章目录引言GELU公式GELU实验 【Reference】 1. GAUSSIAN ERROR LINEAR UNITS (GELUS) 引言 早期网络使用二元阈值单元，sigmoid激活函数将二元阈值决策平滑，使得神经元可解释为发射率，并得以通过BP算法训练。随着网络深度增加，在训练神经网络时，sigmoid激活函数已被证实不如一些非平滑的非线性激活函数高效，如ReLU通常比sigmoid训练更快、收敛更快，ELUs允许ReLU输出负值，通常能够进一步加快训练速度。 深度非线性网络可以很好地拟合数据，
23种激活函数
梦的灰色边沿...
11-07 2万+
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...
深度学习之几种常见的激活函数及其用法
sinat_34231101的博客
01-10 2716
在深度学习中，常常要用到激活函数，激活函数在深度学习模型中非常重要，激活函数的选取极大地关系到模型的好坏，在此介绍一些常用的激活函数及其最常用的使用场景。图源网络，侵删。 什么是激活函数 激活函数顾名思义，就是将深度学习中的线性加权激活，引入非线性的因素。如果没有激活函数，神经网络只是简单地矩阵相乘，无论叠加了多少层，仍然是矩阵相乘，都只是线性的变换，但是在矩阵相乘后，引入一个激活函数，便引入了一...
1.3.3 激活函数介绍
Einstellung的博客
03-16 1501
激活函数 到目前为止，我们使用的激活函数全部都是σσ\sigma函数，然而这并不一定是最好的函数，有时其他可选的函数效果也很好，下面我们来介绍一下其他的函数。 如图所示，我们在这里使用σσ\sigma函数作为激活函数。我们现在使用g(z(x))，作为更一般的可以使用的函数。我们这里介绍一下tanhx，是双曲正切函数。tanhx，实际上在数学上是σσ\sigma函数经过平移之后的结果。tan...
神经网络26 个激活函数汇总
VIEO
08-03 4048
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活函数（identity、sigmoid、ReLU 及其变体）。 下面是 26 个激活函数的图示及其一阶导数，图的右侧是一些与神经网络相关的属性。 1. Step 激活函数 Step 更倾向于理论而不是实
详细说明RELU激活函数和GELU激活函数的推导公式和优缺点
09-07
RELU激活函数是一种常用的非线性激活函数，其全称为Rectified Linear Unit。它的推导公式如下： f(x) = max(0, x) 其中，x为输入值，f(x)为输出值。如果x大于0，则输出为x本身；如果x小于等于0，则输出为0。 RELU激活函数的优点包括： 1. 计算简单：RELU函数只需判断输入值是否大于0，计算速度快。 2. 解决梯度消失问题：相比于sigmoid和tanh等函数，RELU函数在正区间上的导数恒为1，不会导致梯度消失问题。 3. 降低计算复杂度：在深度神经网络中，RELU函数能够将一部分神经元的输出直接置为0，从而减少了参数的数量和模型的计算复杂度。 RELU激活函数的缺点包括： 1. 神经元死亡问题：当输入值小于等于0时，RELU函数的导数为0，这意味着该神经元对梯度的贡献为0，从而可能导致该神经元无法更新权重。 2. 输出不是zero-centered：由于RELU函数在负区间上输出为0，因此其输出值不是zero-centered，可能对某些优化算法造成不利影响。 3. 容易出现神经元过度激活：当学习率较大时，使用RELU激活函数可能导致部分神经元过度激活，使得网络无法收敛。 GELU激活函数是一种近似高斯误差线性单元（Gaussian Error Linear Unit）的激活函数，其推导公式如下： f(x) = 0.5 * x * (1 + tanh(sqrt(2/pi) * (x + 0.044715 * x^3))) 其中，x为输入值，f(x)为输出值。 GELU激活函数的优点包括： 1. 近似高斯：GELU函数在接近零的区间上表现出类似于高斯分布的形状，有助于模型更好地适应连续变量。 2. 具有平滑的导数：GELU函数的导数在整个实数域上都存在，且连续平滑，有助于提高梯度的稳定性。 GELU激活函数的缺点包括： 1. 计算复杂度较高：相比于RELU函数，GELU函数的计算复杂度较高，这可能会增加训练和推理的时间成本。 2. 参数调节困难：GELU函数中的参数需要进行调节，如果参数选择不合适，可能会影响模型的性能。 总体来说，RELU激活函数在实际应用中被广泛使用，并具有较好的性能。而GELU激活函数的优势在于它更接近高斯分布，但在计算复杂度和参数调节上存在一些挑战。选择使用哪种激活函数要根据具体的任务需求和实验结果来决定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值