[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish

最新推荐文章于 2025-03-28 22:23:30 发布
最新推荐文章于 2025-03-28 22:23:30 发布
阅读量4.7k 收藏 32
点赞数 26
分类专栏： AI算法工程师进阶之路 文章标签： AIGC transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41897558/article/details/137296850
版权
本文详细介绍了Transformer模型中FFN块中的几种常见激活函数，包括ReLU、GeLU、Swish以及使用这些激活函数的GLU块。这些非线性变换对模型性能至关重要，展示了每种函数的计算公式和特点，以及它们在深度学习中的适用场景和优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[从0开始AIGC][Transformer相关]：Transformer中的激活函数

文章目录

1. FFN 块 计算公式？

FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。实验证明，这一非线性变换会对模型最终的性能产生十分 重要的影响。

FFN由两个全连接层（即前馈神经网络）和一个激活函数组成。下面是FFN块的计算公式：

FFN ⁡ ( x ) = Relu ⁡ ( x W 1 + b 1 ) W 2 + b 2 \operatorname{FFN}(\boldsymbol{x})=\operatorname{Relu}\left(\boldsymbol{x} \boldsymbol{W}_{1}+\boldsymbol{b}_{1}\right) \boldsymbol{W}_{2}+\boldsymbol{b}_{2} FFN(x)=Relu(xW1​+b1​)W2​+b2​

假设输入是一个向量 x x x，FFN块的计算过程如下：

  1. 第一层全连接层（线性变换）： z = x W 1 + b 1 z = xW1 + b1 z=xW1+b1 其中，W1 是第一层全连接层的权重矩阵，b1 是偏置向量。
  2. 激活函数： a = g ( z ) a = g(z) a=g(z) 其中，g() 是激活函数，常用的激活函数有ReLU（Rectified Linear Unit）等。
  3. 第二层全连接层（线性变换）： y = a W 2 + b 2 y = aW2 + b2 y=aW2+b2 其中，W2 是第二层全连接层的权重矩阵，b2 是偏置向量。

增大前馈子层隐状态的维度有利于提升最终翻译结果的质量，因此，前馈子层隐状态的维度一般比自注意力子层要大。

需要注意的是，上述公式中的 W1、b1、W2、b2 是FFN块的可学习参数，它们会通过训练过程进行学习和更新。

2. GeLU 计算公式？

GeLU（Gaussian Error Linear Unit）是一种激活函数，

最低0.47元/天 解锁文章
【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1309
Swish和GELU激活函数是深度学习领域中两个重要的激活函数，它们在多个领域，尤其是自然语言处理（NLP）和计算机视觉（CV）中，表现出了卓越的性能。本文介绍了这两个激活函数。
Transformer架构中FFN层激活函数的演进与应用
步子哥的博客
07-07 1440
Transformer模型主要由多头注意力层(Multi-Head Attention)和前馈神经网络层交替堆叠而成。以编码器为例,其结构如下:FFN层在Transformer架构中扮演着重要角色,它能够增加模型的非线性表达能力,帮助捕获更复杂的特征。GLU(Gated Linear Units)严格来说不是一种激活函数,而是一种神经网络层结构。其中,σ是sigmoid函数,⊗表示逐元素乘法。
神经网络的激活函数（五）门控系列 GLU、Swish和SwiGLU
深数研究院
11-20 1386
SwiGLU激活函数结合了Swish和GLU的优点，通过引入门控机制和平滑非单调特性，解决了ReLU等激活函数的一些固有问题。SwiGLU在许多深度学习任务中表现出色，特别是在计算机视觉和自然语言处理任务中。它通过门控机制和平滑激活，使得模型能够更快地收敛并达到更高的性能
【大模型】激活函数之SwiGLU详解
最新发布
酒酿小圆子呀～
03-28 839
Swish是由Google Brain提出的一种激活函数，它的数学表达式如下：其中σx\sigma(x)σx是sigmoid函数，β是一个可学习的参数。当β趋近于0时，Swish函数趋近于线性函数yx2y = x^2yx2当β取值为1时，Swish函数是光滑且非单调的，等价于SiLU激活函数当β趋近于无穷大时，Swish函数趋近于ReLU函数。
激活函数之ReLU函数
热门推荐
tian_panda的博客
08-27 9万+
0 前言 激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机 加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 1 激活函数之ReLU函数 ReLU函数是目前比较火的一个激活函数,函数公式：，函...
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
【深度学习基础之激活函数】ReLU、ReLU6 和 GELU 是三种常见的激活函数，它们各自的特点、优缺点和适用场景你了解多少呢？
985小水博的摸鱼日常
12-24 1168
【深度学习基础之激活函数】ReLU、ReLU6 和 GELU 是三种常见的激活函数，它们各自的特点、优缺点和适用场景你了解多少呢？
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
Transformer模型-Feed Forward前馈网络，MLP和Relu激活函数的简明介绍：即2个线性层，中间通过Relu（）连接。
Ankie资深技术项目经理
04-08 3347
位置感知Position-Wise前馈网络（FFN）由两个全连接层（fully connected dense layers，就是线性层（Linear Layer），或密集层（Dense Layer））组成，或者也可以称为多层感知机（MLP：multi-layer perceptron）。在层与层之间，使用ReLU激活函数，即max(0, X)。任何大于0的值保持不变，而任何小于或等于0的值都将变为0。它引入了非线性，有助于防止梯度消失。
Transformer 模型的详细配置---归一化、位置、激活函数和注意力机制
weixin_43961909的博客
06-28 1128
    大语言模型的预训练过程中经常会出现不稳定的问题。为了应对这一问题，深度学习方法通常会采用特定的归一化策略来加强神经网络训练过程的稳定性。原始的 Transformer 模型主要使用了层归一化方法（Layer Normalization, LN）。随着研究工作的不断深入，基于层归一化的改进技术不断涌现，例如均方根层归一化（Root Mean Square Layer Normalization, RMSNorm）和 DeepNorm，这些新技术已经在一些大语言模型中得到应用。    LayerNorm
深度学习中激活函数的演变与应用：一个综述
wwlsm_zql的博客
07-11 1380
本文全面回顾了深度学习中激活函数的发展历程，从早期的Sigmoid和Tanh函数，到广泛应用的ReLU系列，再到近期提出的Swish、Mish和GeLU等新型激活函数。深入分析了各类激活函数的数学表达、特点优势、局限性以及在典型模型中的应用情况。通过系统的对比分析，本文探讨了激活函数的设计原则、性能评估标准以及未来可能的发展方向，为深度学习模型的优化和设计提供理论指导。
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
从ReLU到GELU，一文概览神经网络的激活函数（https://mp.weixin.qq.com/s/pA9JW75p9J5e5KHe3ifcBQ），除上述外，本文还提供了若干相应的支撑论文。
激活函数在自然语言处理中的应用：从 RNN 到 Transformer
AI天才研究院
01-07 602
1.背景介绍 自然语言处理(NLP)是人工智能(AI)的一个重要分支，其主要目标是让计算机理解、生成和处理人类语言。在过去的几年里，深度学习技术在 NLP 领域取得了显著的进展，尤其是随着 Recurrent Neural Networks(RNN)和 Transformer 等模型的出现，NLP 的许多任务都取得了新的高水平。在这篇文章中，我们将深入探讨激活函数在 NLP 中的应用，从 RNN...
三个激活函数模块：GELU、SELU 和 RELU
Sarah ~
11-18 1850
输入拆分：每个类的forward方法都通过将输入x沿着最后一个维度拆分成两部分，x和gates。然后使用gates部分经过激活函数的处理，最终通过逐元素相乘的方式与x结合。不同的激活函数GELU使用高斯误差线性单元（Gaussian Error Linear Unit）。SELU使用自归一化的指数线性单元（Scaled Exponential Linear Unit）。RELU使用常见的修正线性单元（Rectified Linear Unit）。逐元素乘法：这些激活函数通过将x和激活后的gates。
从ReLU到GELU，一文概览神经网络的激活函数
机器学习算法那些事
01-12 778
选自 | mlfromscratch作者 | Casper Hansen转自| 机器之心编译激活函数对神经网络的重要性自不必多言，来自丹麦技术大学的 Casper Hansen 通过公式...
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 1819
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
激活函数在神经网络中的作用，以及Tramformer中的激活函数
AI浩
12-11 1589
GELU激活函数的全称是高斯误差线性单元，其数学表达式为GELU(x) = x * Φ(x)，其中Φ(x)是标准正态分布的累积分布函数（CDF）。这个函数最初由Dan Hendrycks和Kevin Gimpel在2016年提出。
推荐系统笔记（十二）：常用激活函数gelu、swish等
qq_46006468的博客
08-03 4630
gelu就是高斯误差线性单元，这种激活函数在激活中加入了随机正则的思想，是一种对神经元输入的概率描述。为了方便记忆，这里做简要的笔记。汇总有：Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU。其中在推荐系统的lightGCN中取消使用非线性激活函数。...
转载-从ReLU到GELU，一文概览神经网络的激活函数
Toby的博客
05-13 1215
选自mlfromscratch 作者：Casper Hansen 机器之心编译 在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。 在阅读本文之前，你可以阅读我前一篇介绍神经网络中前向传播和反向传播的文章，其中已经简单地提及过激活函数，但还未介绍其实际所做的事情。本文的内容将建立在你已了解前一篇文章.
transformer激活函数
09-07
Transformer 模型中使用的激活函数是 GELU（Gaussian Error Linear Unit）。GELU 激活函数是一种充分利用高斯误差线性单元的非线性函数，它在处理自然语言处理任务时表现良好。GELU 激活函数的数学定义如下： GELU(x) = 0.5 * x * (1 + tanh(sqrt(2/pi) * (x + 0.044715 * x^3))) 其中，x 是输入变量。GELU 激活函数将输入变量映射到 (-inf, inf) 范围内的非线性输出。在 Transformer 模型中，GELU 激活函数被广泛应用于多层感知机（MLP）和残差连接等部分。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值