激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)

最新推荐文章于 2025-03-29 15:48:01 发布
最新推荐文章于 2025-03-29 15:48:01 发布
阅读量4.4k 收藏 19
点赞数 4
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132174106
版权
本文深入探讨了基于Gate机制的激活函数，包括GLU、SwiGLU、GTU、Bilinear、ReGLU和GEGLU。GLU因其稳定性和缓解梯度消失而被广泛使用，而SwiGLU结合了Swish和GLU的优点，适用于多种任务。尽管有多种GLU变体，但SwiGLU在Transformer模型中表现突出。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（八）：基于Gate mechanism机制的激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家介绍关于最近大语言模型中较火的GLU模型。这里放一张激活函数的机理图：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 8777
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
【YOLOv11改进 - 注意力机制】GAM（Global Attention Mechanism）：全局注意力机制，减少信息损失并放大全局维度交互特征
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-20 1553
【YOLOv11改进 - 注意力机制】GAM（Global Attention Mechanism）：全局注意力机制，减少信息损失并放大全局维度交互特征
【深度学习】SwiGLU激活函数
AI小白的学习记录，欢迎交流~
05-16 1844
SwiGLU激活函数是一种变体的Gated Linear Unit（GLU）激活函数，用于深度学习中的神经网络。SwiGLU的名称源自其特性，即它是一个可调节的、灵活的GLU变体。
闸门机制（Gate Mechanism）
weixin_34293902的博客
06-21 1105
本系列文章由 @yhl_leo 出品，转载请注明出处。 文章链接： http://blog.csdn.net/yhl_leo/article/details/51728107 神经网络中常说的闸门机制（Gate Mechanism）或者闸门理论（Gate Theory）源自 Gate Control Theory of Pain，大致原理如下： Gate ...
【AI辅助学习系列】SwiGLU
最新发布
weixin_41845840的博客
03-29 233
SwiGLU（Swish-Gated Linear Unit）是一种激活函数结构，它是 GLU（Gated Linear Unit）家族的一种改进版本，在 Transformer 结构中被广泛应用，尤其是在 PaLM（Google 的 Pathways Language Model）等大型语言模型中表现优秀。平滑非线性：不像 ReLU 那样在0处不连续。非单调性：对复杂任务建模更有优势。自门控：结合输入自身值和激活函数结果。
gate mechanism
tyler的博客
02-08 261
import torch.nn as nn import math import torch class GateConcMechanism(nn.Module): def __init__(self, hidden_size=None): super(GateConcMechanism, self).__init__() self.hidden_size = hidden_size self.w1 = nn.Parameter(torch.Tenso
SwiGLU激活函数
Swift's Blog
05-09 1690
SwiGLU激活函数已经成为LLM的标配了。
门控机制（Gating Mechanism）
Hilda121的博客
06-06 6392
门控机制（Gating Mechanism）是一种在神经网络中特别用于控制信息流动的技术，广泛应用于递归神经网络（RNN）及其变体（如LSTM和GRU）。为了形象地解释门控机制模型，我们可以用一个日常生活中的例子来帮助理解。
激活函数-SwiGLU
Elvira521yan的博客
12-18 1万+
fxx∗σxfxx∗σxσx11e−xσx1e−x1​正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重。
【YOLOv11改进 - 注意力机制】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-18 2491
【YOLOv11改进 - 注意力机制】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力
【大模型】激活函数之SwiGLU详解
酒酿小圆子呀～
03-28 943
Swish是由Google Brain提出的一种激活函数，它的数学表达式如下：其中σx\sigma(x)σx是sigmoid函数，β是一个可学习的参数。当β趋近于0时，Swish函数趋近于线性函数yx2y = x^2yx2当β取值为1时，Swish函数是光滑且非单调的，等价于SiLU激活函数当β趋近于无穷大时，Swish函数趋近于ReLU函数。
基于Gate Mechanism的激活单元GTU、GLU
J~的博客
01-15 3422
1 Sigmoid和Tanh存在的问题 Sigmoid和双曲正切激活函数有两个明显的缺点： 存在饱和死区特性，梯度反向传播时，容易导致梯度爆炸（Gradient Explosion）和梯度消失（Gradient Vanish）问题。 对于多层非线性变换嵌套操作的深度学习网络，关于参数W的梯度计算比较复杂，计算量大。 2 Relu 为了解决上面两个问题，深度学习研究领域陆续提出了Rel...
激活函数-swiGLU
wm199的博客
12-14 1467
swiGLU是一种改进的激活函数模块，主要用于深度学习中的 Transformer 模型和其他神经网络架构。它在的基础上进行了修改，以提升模型的表现和训练效率。swiGLU是对 GLU 的改进，通过引入 Swish 激活函数来提供更平滑的非线性映射，有助于提升深度学习模型的表现，尤其是在 Transformer 架构中。
解释SwiGLU激活函数
andeyeluguo的博客
02-02 2971
然后，GLU将输入信号与门控值相乘，以便选择性地放大或抑制输入。SwiGLU激活函数将GLU和Swish部分结合起来，通过门控机制选择性地应用Swish变换，以产生最终的激活输出。它的设计目的是在提供非线性表达能力的同时，保持一定的线性性质，从而提高神经网络的表示能力和学习能力。SwiGLU激活函数的主要思想是引入一个门控机制，用于控制输入信号在激活函数中的传递方式。总的来说，SwiGLU激活函数通过门控机制和非线性变换的组合，提供了一种灵活的非线性激活方式，有助于改善神经网络的性能和学习能力。
Llama改进之——SwiGLU激活函数
热门推荐
日积月累，天道酬勤
05-04 1万+
本文介绍如何实现SwiGLU。
<深度学习优化策略-4> 基于Gate Mechanism的激活单元GTU、GLU
lqfarmer的博客
05-24 6125
1 Sigmoid和Tanh激活函数及存在问题     深度学习（神经网络）中最先被广泛使用的激活函数是Sigmoid函数和双曲正切激活函数，都是非线性的激活函数，两个激活函数的表达式如下： sigmoid函数：      f(x)= 1 / (1+exp(−x)) 双曲正切函数：       f(x)= tanh(x)     激活函数的图形如图所示：
【笔记】SWiGLU激活函数-大模型常用
m0_53162279的博客
10-10 2281
SWiGLU是大模型常用的激活函数，是2020年谷歌提出的激活函数，它结合了SWISH和GLU两者的特点。
【激活函数】GELU 激活函数
Next_SummerAgain的博客
01-05 5112
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

模型剧场工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值