Bert使用的激活函数：gelu---高斯误差线性单元

最新推荐文章于 2025-04-09 14:50:38 发布
最新推荐文章于 2025-04-09 14:50:38 发布
阅读量1.5w 收藏 12
点赞数 2
分类专栏： 机器学习 深度学习 文章标签： Bert 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eunicechen/article/details/84774047
版权
本文深入探讨了BERTTransformer结构中使用的GELU激活函数，解释了其如何通过非线性变换提供更好的随机正则化效果，以及相较于ReLU的优势，尤其是在深度学习任务中的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        Bert Transfromer结构中使用了这个激活函数---gelu（Gaussian error linear units，高斯误差线性单元），Gelu在论文中已经被验证，是一种高性能的神经网络激活函数，因为GELU的非线性变化是一种符合预期的随机正则变换方式（这句话，说实话，我翻译自原论文，具体怎么理解呢？我自己是如下理解的）。

  • 激活函数的作用：给网络模型加入非线性因子，这个非线性因子的实际操作就是在wx+b这样的线下变化后面加入一个非线性变化的函数fun。
  • Gelu的操作方式：Gelu怎么完成非线性变换的呢？引入这样的变化函数：  

        公式中x是自己，P(X<=x)决定x中有多少信息保留 ，并且由于P是服从高斯分布的，也就满足了非线性的特征，并且更加符合数据的分布预期。

  • 相比Relu：Relu将小于0的数据映射到0，将大于0的给与  等于 映射操作，虽然性能比sigmoid好，但是缺乏数据的统计特性，而Gelu则在relu的基础上加入了统计的特性。论文中提到在好几个深度学习任务中都优于Relu的效果。  

 

 

Reference:

[1] Gaussian Error Linear Units (GELUs), Dan Hendrycks, Kevin Gimpel

(Submitted on 27 Jun 2016 (v1), last revised 11 Nov 2018 (this version, v3))

https://arxiv.org/abs/1606.08415

 

【三.深度学习视觉基础】【3.激活函数对比：Sigmoid/ReLU/GELU】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-15 82
激活函数（Activation Function）是神经网络中最核心的组件之一，它决定了神经元是否被激活、如何传递信号，甚至直接影响模型的收敛速度和性能表现。不同的激活函数有不同的特性，有的像“开关”一样简单粗暴，有的像“概率分布”一样复杂优雅。和，从数学原理、优缺点到实际应用场景，一次性讲透！
从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.3前馈网络（FFN）与激活函数（GELU）优化
kngines
03-25 274
从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.3前馈网络（FFN）与激活函数（GELU）优化
「Deep Learning」Note on GELU（Gaussian Error Linear Unit）
小锋子Shawn
05-05 4557
Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/80209602 [1] Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear...
【原理篇】小白入门Transformer！一文了解Transformer架构
m0_60302377的博客
03-15 1980
BART、PEGASUS 模型用于生成新闻摘要。✅。
BERT中GELU 激活函数
chenxinvhai89的专栏
09-03 4426
最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。 https://blog.csdn.net/liruihongbob/article/details/86510622 ...
激活函数详解
qq_35495233的博客
09-05 709
激活函数详解 ELU函数        ELUs是“指数线性单元”，它试图将激活函数的平均值接近零，从而加快学习的速度。同时，它还能通过正值的标识来避免梯度消失的问题。根据一些研究，ELUs分类精确度是高于ReLUs的。具有relu的优势，且输出均值接近零，实际上prelu和LeakyReLU都有这一优点。有负数饱和区域，从而对噪声有一...
BERT、激活函数等面试题
Xu_Wave
05-18 1236
面试题
Gaussian Error Linear Units(GELU)
qq_34425255的博客
10-05 401
高斯误差线性单元（Gaussian Error Linear Unit，简称GELU）是一种激活函数，它结合了高斯分布的特性和线性部分。GELU的数学表达式为：其中，Φ(x)是标准正态分布的累积分布函数（CDF），
【有啥问啥】激活函数：高斯误差线性单元（GELU）是什么？
Chauvin的博客
08-14 1805
激活函数在深度学习中至关重要，因为它们为网络引入了非线性，从而使其能够建模数据中的复杂关系。如果没有激活函数，无论网络有多少层，它都将等效于一个线性模型。激活函数的选择会显著影响神经网络的性能，包括训练速度、收敛性和泛化能力。ReLU 是深度学习中最简单且最流行的激活函数之一。ReLUxmax⁡0xReLUxmax0x这意味着对于任何输入xxx，如果x0x > 0x0，ReLU 输出xxx；如果x≤0x \leq 0x≤0，则输出 0。
SiT : Self-supervised vision Transformer
qq_47896523的博客
06-03 1214
自监督预训练可以显著提高下游任务的性能 [1]，[16]。在语音识别 [17] 和计算机视觉应用 [18]、[19]、[20]、[21] 中也观察到了类似的趋势。自监督预训练，特别是与 Transformer [22] 结合使用，是 NLP [1]、[16] 的首选模型。SSL 的成功是以海量数据集和大容量模型为代价的。视觉 Transformer 的预训练主要使用监督学习的超大规模数据集，例如由数亿个标记样本组成的数据集 [3]。
【图像去噪】论文精读：SwinIA: Self-Supervised Blind-Spot Image Denoising with Zero Convolutions
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-09 95
论文题目：SwinIA: Self-Supervised Blind-Spot Image Denoising with Zero Convolutions —— SwinIA：无卷积自监督盲点图像去噪论文源码：无WACV 2025！arXiv 2023公布的，中了WACV 2025，本文使用会议版本。自监督图像去噪意味着在不访问基本事实的情况下从噪声图像中恢复信号。该任务的最新解决方案依赖于使用全卷积神经网络预测掩码像素。这通常需要多次前向传递、有关噪声模型的信息或复杂的正则化函数。
Gaussian Error Linear Units (GELUs)
brandday的博客
10-21 2199
Bert使用了gelu激活 论文链接：https://arxiv.org/abs/1606.08415 未完待续
[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)
日积月累，天道酬勤
04-28 1298
看完本篇文章你就会深入理解BERT中用到的GELU激活函数。
激活函数：GELU（Gaussian Error Linear Units）
FriendshipTang的博客
04-18 4377
PyTorch、人工智能、深度学习、激活函数
高斯误差线性单元 Gaussian Error Linear Units(GELU)
DarrenXf的专栏
03-07 3161
paper https://arxiv.org/abs/1606.08415 个人翻译，并不权威 高斯误差线性单元 摘要 我们提出高斯误差线性单元（GELU)，一个高性能的神经网络激活函数。GELU的非线 性是通过随机地应用恒等或0来映射一个神经网络的输入的随机正则化的预期转换。 GELU的非线性权重输入通它们的量级而不是像ReLU那样通过输入的符号控制输入。我们 执行一个关于GELU,ReLU...
论文笔记 （GAUSSIAN ERROR LINEAR UNITS (GELUS)）
weixin_44054052的博客
10-06 950
一、介绍（introduce） 我们都知道激活函数可以避免网络形成深度线性分类器，RELU是其中的一个典型的代表激活函数，本文在ReLUs成功的基础上提出了GELUS，它利用ELUs的修正阳离子(Clevertetal.，2016)允许类似relu的非线性输出负值。 在前人的研究上，随机正则化与激活函数（非线性）分离，他们共同决定一个神经元的输出，而且，两者都不包含另一种，因为流行的随机正则化器分别与输入无关，而非线性得到了这些正则化器的帮助。 GELUS与随机正则化器有关，它是对dropout的一种
超越ReLU却鲜为人知，3年后被挖掘：BERT、GPT-2等都在用的激活函数
weixin_36896856的博客
12-31 385
点击上方“AI遇见机器学习”，选择“星标”公众号原创干货，第一时间送达转自：机器之心作为决定神经网络是否传递信息的「开关」，激活函数对于神经网络而言至关重要。不过今天被人们普遍采用的 R...
GAUSSIAN ERROR LINEAR UNITS (GELUS)翻译
nopSled
05-06 983
摘要 我们提出了高斯误差线性单元（GELU），它一种高性能的神经网络激活函数。GELU的非线性是随机正则化器的预期变换，随机正则化器（防止过拟合）将等式或零映射随机应用于神经元的输入。GELU的非线性按其幅度输入，而不是按照ReLU中的符号进行门控输入。我们针对ReLU和ELU激活对GELU非线性进行了实验评估，并在所有考虑的计算机视觉，自然语言处理和语音任务中发现了性能改进。 1.介绍 早期人工...
GELU激活函数
03-14
### GELU激活函数概述 GELU（Gaussian Error Linear Units）是一种基于高斯分布的非线性激活函数，由Dan Hendrycks和Kevin Gimpel在2016年首次提出[^1]。该函数旨在结合ReLU的非饱和特性和Sigmoid/Tanh的平滑特性，在深度学习模型中表现出良好的性能。 --- ### 数学定义与公式 GELU的数学定义如下： 对于输入 \( x \)，GELU 的计算方式可以通过两种形式表示： #### 形式一：精确形式 \[ \text{GELU}(x) = x \cdot P(X \leq x) = x \cdot \Phi(x) \] 其中，\( P(X \leq x) \) 是标准正态分布累积分布函数 (CDF)，记作 \( \Phi(x) \)。 #### 形式二：近似形式 为了提高计算效率，通常采用以下近似公式： \[ \text{GELU}(x) \approx 0.5x(1 + \tanh[\sqrt{\frac{2}{\pi}}(x + 0.044715x^3)]) \][^2] 这种近似形式通过引入双曲正切函数来简化计算过程，同时保持较高的精度。 以下是实现上述公式的 Python 代码示例： ```python import numpy as np def gelu_exact(x): """ 使用 CDF 计算 GELU """ return x * 0.5 * (1.0 + np.erf(x / np.sqrt(2.0))) def gelu_approximate(x): """ 近似版本的 GELU 实现 """ c = np.sqrt(2 / np.pi) return 0.5 * x * (1 + np.tanh(c * (x + 0.044715 * x ** 3))) ``` --- ### 应用场景 GELU 激活函数广泛应用于各种深度学习任务中，尤其是在自然语言处理（NLP）领域表现突出。例如，在BERT等预训练语言模型中，GELU被选为主流激活函数之一。除此之外，它的适用范围还包括但不限于以下几个方面： 1. **计算机视觉** 在卷积神经网络（CNNs）和其他图像分类、目标检测任务中，GELU能够有效提升模型收敛速度并改善泛化能力。 2. **语音识别** 对于序列建模问题，如自动语音识别（ASR），GELU有助于缓解梯度消失现象，增强深层结构的学习效果[^3]。 3. **推荐系统** 基于深度学习的个性化推荐算法也常利用GELU作为隐藏层中的激活单元，从而捕捉复杂的特征交互关系。 需要注意的是，实际应用时应综合考虑模型架构特点以及硬件资源限制等因素选择合适的激活函数[^2]。 --- ### 总结 综上所述，GELU作为一种新兴的激活函数，凭借其独特的性质——既保留了ReLU的优点又具备一定的平滑过渡能力，在多个领域取得了显著成效。然而，针对特定任务的最佳实践仍需进一步探索验证。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值