GELU激活函数介绍和笔记

已于 2022-04-13 07:07:12 修改
阅读量3.4w 收藏 147
点赞数 28
分类专栏： python 神经网络 文章标签： python
于 2022-01-26 04:02:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kkxi123456/article/details/122694916
版权

GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。这里做个笔记，以便自己查找。

一些对于GELU函数的论文翻译：

1、https://blog.csdn.net/uncle_ll/article/details/121293513

2、https://blog.csdn.net/sinat_34072381/article/details/108434642

其他的一些参考：
1、https://zhuanlan.zhihu.com/p/302394523

2、https://blog.csdn.net/chenxinvhai89/article/details/100517448

3、https://blog.csdn.net/weixin_41923961/article/details/103976110

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

激活函数选择：从ReLU到GELU的演变
AI天才研究院
10-28 755
激活函数是神经网络中的一个关键组件，它作用于神经网络的每个神经元，决定该神经元是否被激活。简单来说，激活函数将神经元的输入映射到一个二元值（通常是0或1），这个值决定了神经元是否被激活。定义与分类：线性激活函数将输入直接映射到输出，没有引入非线性。常见的线性激活函数包括线性函数( f(x) = x )和恒等函数( f(x) = x )。非线性激活函数为神经网络引入了非线性特性，使得神经网络能够拟合复杂的非线性函数。常见的非线性激活函数包括Sigmoid、Tanh、ReLU等。
[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)
日积月累，天道酬勤
04-28 1290
看完本篇文章你就会深入理解BERT中用到的GELU激活函数。
三个激活函数模块：GELU、SELU 和 RELU
Sarah ~
11-18 1852
输入拆分：每个类的forward方法都通过将输入x沿着最后一个维度拆分成两部分，x和gates。然后使用gates部分经过激活函数的处理，最终通过逐元素相乘的方式与x结合。不同的激活函数GELU使用高斯误差线性单元（Gaussian Error Linear Unit）。SELU使用自归一化的指数线性单元（Scaled Exponential Linear Unit）。RELU使用常见的修正线性单元（Rectified Linear Unit）。逐元素乘法：这些激活函数通过将x和激活后的gates。
SiLU与GeLU激活函数：现代大模型的选择
最新发布
阿正的梦工坊
03-26 1259
为什么这些激活函数会成为新宠？它们又有哪些优越的性质呢？本文将为你详细解析。
【有啥问啥】激活函数：高斯误差线性单元（GELU）是什么？
Chauvin的博客
08-14 1796
激活函数在深度学习中至关重要，因为它们为网络引入了非线性，从而使其能够建模数据中的复杂关系。如果没有激活函数，无论网络有多少层，它都将等效于一个线性模型。激活函数的选择会显著影响神经网络的性能，包括训练速度、收敛性和泛化能力。ReLU 是深度学习中最简单且最流行的激活函数之一。ReLUxmax⁡0xReLUxmax0x这意味着对于任何输入xxx，如果x0x > 0x0，ReLU 输出xxx；如果x≤0x \leq 0x≤0，则输出 0。
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 1822
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
常用的激活函数理解
weixin_41168869的博客
06-21 1579
常见的激活函数包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数、tanh函数、softmax函数和 gelu函数等。下面对每种激活函数进行详细介绍。
GELU 激活函数
热门推荐
乐享极客
04-16 9万+
Gaussian Error Linerar Units(GELUS) 论文链接：https://arxiv.org/abs/1606.08415 最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。 不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ...
GELU激活函数
qq_41296039的博客
04-14 1万+
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
激活函数：GELU（Gaussian Error Linear Units）
FriendshipTang的博客
04-18 4352
PyTorch、人工智能、深度学习、激活函数
【激活函数】GELU 激活函数
Next_SummerAgain的博客
01-05 4901
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。
【笔记】激活函数GELU
m0_53162279的博客
10-11 1561
GELU(Gaussian Error Linear Unit)2020年提出，相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。另外，GELU 在 0 附近比 ReLU 更加平滑，因此在训练过程中更容易收敛。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。输入x比较大时，GELU基本上就是线性输出和RELU类似。输入x接近0时，GELU是非线性输出，具有一定的连续性。输入x比较小时， GELU的输出就是0。
【笔记】SWiGLU激活函数-大模型常用
m0_53162279的博客
10-10 2266
SWiGLU是大模型常用的激活函数，是2020年谷歌提出的激活函数，它结合了SWISH和GLU两者的特点。
深度学习笔记(二)——激活函数原理与实现
InkBamboo920的博客
04-22 2961
深度学习笔记(二)——激活函数原理与实现 闲聊 昨天详细推了下交叉熵，感觉还可以，今天继续加油。 ReLU 原理 定义：ReLU是修正线性单元(rectified linear unit),在0和x之间取最大值。 出现原因：由于sigmoid和tanh容易出现梯度消失，为了训练深层神经网络，需要一个激活函数神经网络，它看起来和行为都像一个线性函数，但实际上是一个非线性函数，允许学习数据中的复杂关系 。该函数还必须提供更灵敏的激活和输入，避免饱和。而ReLU是非饱和激活函数，不容易发生梯度消失。 def R
深度学习 --- stanford cs231学习笔记四(训练神经网络之激活函数)
松下J27录放机
06-17 395
本文重点介绍了神经网络中各种activation函数的性质
神经网络常见激活函数 10-GELU函数
hbkybkzw的博客
02-13 989
当方差为无穷大，均值为 0 的时候，GeLU就等价于ReLU了。GELU有一个概率解释，因为它是一个随机正则化器的期望。首先，建议在使用GELU训练时使用具有动量的优化器，这是深度神经网络的标准。其次，使用对高斯分布的累积分布函数的密切近似是很重要的。分别代表正太分布的均值和方差，由于上面这个函数是无法直接计算的，所以研究证在研究过程中发现可以被近似的表示为。指的是 x 的高斯正太分布的累积分布函数(CDF),进一步地，可得该函数的具体表达为。其中 $\sigma(x) $ 代表 Sigmoid 函数。
神经网络的激活函数（六）GELU和Mish
深数研究院
11-25 1434
GELU通过高斯误差函数（即标准正态分布的累积分布函数）对输入进行平滑处理，从而提高模型的性能。GELU在许多任务中表现出色，特别是在自然语言处理（NLP）和计算机视觉任务中。
【NLP 39、激活函数 ④ GELU激活函数】
m0_73983707的博客
02-24 1082
GELU（Gaussian Error Linear Unit，高斯误差线性单元）是一种结合概率分布的非线性激活函数，其核心思想是通过输入值服从标准正态分布的概率来决定激活程度。数学表达式为：其中，Φ(x) 是标准正态分布的累积分布函数（CDF）：实际应用中，常使用近似公式简化计算：该近似公式在保持性能的同时显著降低计算复杂度二、核心特点非线性建模能力：通过高斯分布概率引入非线性，增强模型对复杂数据的拟合能力。连续可导性：在整个定义域内可微，避免梯度消失问题，适合反向传播优化。
GELU激活函数的介绍
07-28
GELU（Gaussian Error Linear Unit）是一种常用的激活函数，其在神经网络中的应用得到了广泛关注。GELU函数的定义如下： GELU(x) = 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715 * x^3))) GELU激活函数具有以下特点： 1. 平滑性：GELU函数是一个平滑的非线性函数，它在接近零点时近似于恒等函数，因此在输入接近零时，GELU函数具有线性的特性。这使得模型在训练过程中更容易进行梯度传播并更快地收敛。 2. 非线性性：当输入值较大时，GELU函数逐渐变得非线性，能够更好地捕捉输入中的复杂模式和特征。相比于一些传统的激活函数，如ReLU函数，GELU函数在处理大于零的输入值时能够提供更大的灵活性。 3. 高斯误差逼近：GELU函数的设计灵感来自高斯误差线性单元（Gaussian Error Linear Unit），它是一种用于减小训练误差的方法。GELU函数在逼近高斯误差线性单元的过程中，通过添加额外的非线性变换使得其逼近效果更好。 GELU激活函数在深度学习中的应用已经得到了广泛的验证。研究表明，在一些任务中，使用GELU作为激活函数可以带来更好的模型性能和更快的收敛速度。因此，GELU激活函数已经成为深度神经网络中常用的激活函数之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值