Llama改进之——SwiGLU激活函数

已于 2024-08-08 21:26:43 修改
阅读量1.4w 收藏 48
点赞数 32
分类专栏： # 从Transformer到LLM 自然语言处理 NLP项目实战 文章标签： llama
于 2024-05-04 14:54:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjw123456/article/details/138441972
版权

引言

今天介绍LLAMA模型引入的关于激活函数的改进——SwiGLU1，该激活函数取得了不错的效果，得到了广泛地应用。

SwiGLU是GLU的一种变体，其中包含了GLU和Swish激活函数。

GLU

GLU(Gated Linear Units,门控线性单元)2引入了两个不同的线性层，其中一个首先经过sigmoid函数，其结果将和另一个线性层的输出进行逐元素相乘作为最终的输出：
GLU ( x ,

了解本专栏 订阅专栏 解锁全文 超级会员免费看
激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)
走在深度学习前沿的小宋
08-14 4414
本文为前面介绍的激活函数进行一定的补充，介绍了基于Gate mechanism机制的激活函数，包括：GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：这些函数依靠门机制在文本学习中都有一定的优势。但是，需要注意的是，其中SwiGLU是当前大语言模型时代最火的激活函数！！！！！
NLP高频面试题（三十）——LLama系列模型介绍，包括LLama LLama2和LLama3
WeLearnNLP
04-01 635
本文深入介绍Meta推出的LLama系列模型，包括LLama、LLama2和LLama3，探讨了它们的技术创新、应用场景以及对大语言模型发展的重要推动作用。通过系统地回顾各代模型的进化过程，分析其核心特性与技术亮点，为读者提供全面且深入的理解。
SwiGLU激活函数
Swift's Blog
05-09 1695
SwiGLU激活函数已经成为LLM的标配了。
【AI辅助学习系列】SwiGLU
weixin_41845840的博客
03-29 255
SwiGLU（Swish-Gated Linear Unit）是一种激活函数结构，它是 GLU（Gated Linear Unit）家族的一种改进版本，在 Transformer 结构中被广泛应用，尤其是在 PaLM（Google 的 Pathways Language Model）等大型语言模型中表现优秀。平滑非线性：不像 ReLU 那样在0处不连续。非单调性：对复杂任务建模更有优势。自门控：结合输入自身值和激活函数结果。
【深度学习】SwiGLU激活函数
AI小白的学习记录，欢迎交流~
05-16 1877
SwiGLU激活函数是一种变体的Gated Linear Unit（GLU）激活函数，用于深度学习中的神经网络。SwiGLU的名称源自其特性，即它是一个可调节的、灵活的GLU变体。
激活函数-SwiGLU
热门推荐
Elvira521yan的博客
12-18 1万+
fxx∗σxfxx∗σxσx11e−xσx1e−x1​正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重。
激活函数-swiGLU
wm199的博客
12-14 1475
swiGLU是一种改进的激活函数模块，主要用于深度学习中的 Transformer 模型和其他神经网络架构。它在的基础上进行了修改，以提升模型的表现和训练效率。swiGLU是对 GLU 的改进，通过引入 Swish 激活函数来提供更平滑的非线性映射，有助于提升深度学习模型的表现，尤其是在 Transformer 架构中。
【笔记】SWiGLU激活函数-大模型常用
m0_53162279的博客
10-10 2286
SWiGLU是大模型常用的激活函数，是2020年谷歌提出的激活函数，它结合了SWISH和GLU两者的特点。
常见大模型——LLama系列
cancer_s的博客
10-31 2710
LLaMA开源大模型繁荣发展的开端，一系列相关工作均基于LLaMA开展；模型规模7B、13B、33B、65B满足了开发者和研究者的不同需求；Alpaca：通过少量的指令精调赋予LLaMA指令理解与执行的能力Llama-2LLaMA的二代模型，相关模型性能进一步提升，模型可商用推出官方对⻬的Chat版本模型，采用了完整的RLHF链条；Code Llama：专注于代码能力的LLaMA模型，最好的模型代码能力接近GPT-4效果，模型可商用。
NLP高频面试题（三十五）——LLaMA / ChatGLM / BLOOM的区别
最新发布
WeLearnNLP
04-04 720
特性LLaMAChatGLM-6BBLOOM模型结构Layer Norm位置前置 RMS Norm后置 Deep Norm前置 Layer Norm激活函数SwiGLUGeGLUGeLU位置编码RoPERoPEALiBitokenizerSentencePiece（偏英文）中文+英文（高效）多语言支持训练数据规模（token）1T~1.4T1T不同模型版本不同，最大达1T训练任务自回归语言模型自回归文本填空自回归语言模型。
LLaMA代码笔记 --基于lit-llama
Qiming的博客
08-25 1279
llama代码笔记
解释SwiGLU激活函数
andeyeluguo的博客
02-02 2977
然后，GLU将输入信号与门控值相乘，以便选择性地放大或抑制输入。SwiGLU激活函数将GLU和Swish部分结合起来，通过门控机制选择性地应用Swish变换，以产生最终的激活输出。它的设计目的是在提供非线性表达能力的同时，保持一定的线性性质，从而提高神经网络的表示能力和学习能力。SwiGLU激活函数的主要思想是引入一个门控机制，用于控制输入信号在激活函数中的传递方式。总的来说，SwiGLU激活函数通过门控机制和非线性变换的组合，提供了一种灵活的非线性激活方式，有助于改善神经网络的性能和学习能力。
【大模型】激活函数之SwiGLU详解
酒酿小圆子呀～
03-28 1011
Swish是由Google Brain提出的一种激活函数，它的数学表达式如下：其中σx\sigma(x)σx是sigmoid函数，β是一个可学习的参数。当β趋近于0时，Swish函数趋近于线性函数yx2y = x^2yx2当β取值为1时，Swish函数是光滑且非单调的，等价于SiLU激活函数当β趋近于无穷大时，Swish函数趋近于ReLU函数。
LLama的激活函数SwiGLU 解释
samoyan的博客,记录技术成长~
04-23 6143
3.3 自适应性：GLU是一种类似于长短期记忆网络（LSTM）带有门机制的网络结构，通过门机制控制信息通过的比例，来让模型自适应地选择哪些单词和特征对预测下一个词有帮助。Swish函数结合了线性函数和非线性函数的特点，能够自适应地调整激活函数的形状，因此在某些深度学习模型中，Swish函数的表现优于常见的ReLU函数。其中，Swish_β(x) = x σ(β x)，σ为sigmoid函数，⊗为逐元素乘。在LLaMA模型中，使用的激活函数是SwiGLU。它取代了ReLU非线性函数，以提高模型的性能。
【大模型知识点】SwiGLU激活函数
想买很多漂亮衣服但是买不起的博客
03-12 1115
SwiGLU（Swish-Gated Linear Unit）是一种结合了Swish激活函数和GLU（Gated Linear Unit）机制的激活函数，广泛应用于现代大型语言模型（LLM）中，尤其是在Transformer架构的前馈网络（FFN）部分。
大模型系列：SwiGLU激活函数与GLU门控线性单元原理解析
2401_85325397的博客
05-29 3213
LLaMA中SwiGLU的实现形式GLU门控线性单元原理简述通过GLU的变种改进TransformerSwish和SiLU激活函数。
激活函数汇总
Tonney007的博客
10-07 721
激活函数汇总
SGELU激活函数
weixin_38190702的博客
07-13 602
SGELU激活函数简介
激活函数之ReLU, GeLU, SwiGLU
weixin_43646592的博客
09-18 3799
激活函数之ReLU, GeLU, SwiGLU
SwiGLU 函数图像
03-20
<think>好的，用户想了解SwiGLU激活函数的图像或可视化表示。首先，我需要回忆一下SwiGLU的结构。SwiGLU结合了Swish和GLU两种激活函数的特点。Swish函数是$x \cdot \sigma(\beta x)$，而GLU则是将输入分为两部分，通过逐元素相乘和sigmoid门控。所以SwiGLU的数学表达式应该是$x \cdot \sigma(Wx + b) \cdot (Vx + c)$？或者可能有不同的组合方式。 接下来，我需要确认正确的SwiGLU公式。根据记忆，SwiGLU的公式通常写作$Swish(xW + b) \otimes (xV + c)$，其中$\otimes$是逐元素相乘，Swish函数是$x \cdot \sigma(\beta x)$。但有时可能简化为$x \cdot \sigma(Wx) \cdot (Vx)$，不过可能省略了偏置项。需要查阅相关文献确认。例如，在Transformers模型中使用的SwiGLU可能采用类似的结构[^1]。 然后，用户需要可视化，我应该考虑如何绘制这个函数的图像。因为SwiGLU是多变量函数，直接绘制可能需要简化。通常，参数W和V可能被设为标量或者特定的矩阵形式。例如，假设W和V都是1x1的权重，可以简化为标量，比如W=1，V=1，b=0，c=0。这样，SwiGLU就变为$x \cdot \sigma(x) \cdot x$，即$x^2 \cdot \sigma(x)$？或者是不是这样？可能我记错了，需要再仔细推导。 假设正确的表达式是$(xW + b) \cdot \sigma(xV + c)$，如果W和V是标量，比如W=1，V=1，b=0，c=0，那么公式变为$x \cdot \sigma(x)$，这其实是Swish函数，但SwiGLU可能是在GLU结构中使用Swish作为门控。可能正确的表达式是$x \cdot \sigma(Swish(x))$？或者更准确地说，SwiGLU是GLU的变种，其中门控函数使用Swish激活。例如，GLU的公式是$x * \sigma(Wx + b)，而SwiGLU则是$x * Swish(Wx + b)。因此，SwiGLU的公式是$x \cdot (Swish(Wx + b))$。这时候，如果W和b是标量参数，比如W=1，b=0，那么SwiGLU就是$x \cdot Swish(x) = x \cdot (x \cdot \sigma(x)) = x^2 \sigma(x)$。这可能更准确。 为了绘制图像，我需要生成x值的范围，比如-5到5，然后计算对应的y值。例如，对于每个x，计算Swish部分，再乘以x。或者可能原式是Swish(Wx + b)乘以另一个线性变换后的结果。这部分可能需要更仔细的分析。 假设正确的SwiGLU公式是$(xW + b) \otimes \sigma(xV + c)$，其中⊗是逐元素相乘。如果参数设为标量形式，例如W=1，V=1，b=0，c=0，那么公式变为x * σ(x)，这其实是Swish函数，β=1的情况。这时候，SwiGLU等同于Swish函数？这可能和实际应用中的情况不同，因为SwiGLU通常用于多层结构中，可能涉及不同的权重。或许正确的表达式是SwiGLU(x) = Swish(xW + b) * (xV + c)，其中W和V是不同的权重矩阵。但为了简化可视化，可能需要将参数设为标量，并调整β的值，看看图像的变化。 另外，用户可能需要看到SwiGLU与其他激活函数（如ReLU、GELU）的对比，以便理解其特性。例如，SwiGLU可能在某些区域具有非单调性或者更平滑的梯度。 现在，我需要生成Python代码来绘制这个函数。假设使用matplotlib，并且numpy来处理数值计算。例如，定义swish函数，然后定义swiglu，但需要明确参数设置。如果SwiGLU是Swish(Wx) * Vx，那么可能需要两个权重参数。不过，在简化情况下，可能假设W和V都是1，此时函数变为Swish(x) * x，即x * x * σ(x)。或者可能另一个线性变换后的结果。 可能存在混淆，因此最好参考原始论文或权威资料。例如，在“GLU Variants Improve Transformer”一文中，SwiGLU被提出作为GLU的一种变体，使用Swish作为激活函数。其公式可能为SwiGLU(x, W, V, b, c) = Swish(xW + b) ⊗ (xV + c)，其中⊗是逐元素乘法。如果V是另一个权重矩阵，而这里假设输入x是向量，那么在可视化时可能需要降维处理。但为了简化，可以假设x是标量，W和V也是标量，此时SwiGLU函数为 (Swish(w1*x + b)) * (w2*x + c)，其中w1, w2, b, c是参数。为了绘制图像，可以设置这些参数为1或0，简化函数。 例如，设w1=1，w2=1，b=0，c=0，那么SwiGLU(x) = Swish(x) * x = x * σ(x) * x = x² σ(x)。这可能是一个可能的简化形式。但需要确认是否正确。 现在，编写代码： 生成x的范围，比如-5到5，间隔0.1。 定义swish函数：def swish(x, beta=1): return x * (1 / (1 + np.exp(-beta * x))) 然后，定义swiglu：假设为swish(x) * x，即x² * σ(x) 绘制图像，并比较ReLU、Swish等。 不过，这可能与真实的SwiGLU实现有所不同。例如，在Transformers的代码中，SwiGLU层通常是将输入分为三部分，并应用不同的变换。例如，输入维度为d，分成三部分，每部分d/3，然后进行swish(w1*x) * w2*x。这种情况下，可能SwiGLU的表达式是swish(xW) ⊙ xV，其中W和V是不同的权重矩阵。但为了可视化，可以假设x是标量，W和V也是标量，此时函数为swish(w1 x) * w2 x。如果w1和w2都是1，则为swish(x) * x = x² σ(x)。这可能就是绘制的函数。 现在，编写代码并生成图像，保存为图片或直接在notebook中显示。用户可能需要查看不同beta值的影响，或者不同的权重参数。但通常，SwiGLU的参数是在训练中学习的，但可视化时固定参数以展示形状。 总结：SwiGLU的函数形式可能为xW ⋅ σ(xV + b)，或者类似结构，其中W和V是权重。在简化情况下，图像可能类似于x² σ(x)，在正值区域增长较快，负值区域趋近于零，类似Swish但更陡峭。需要确保代码正确，并正确解释图像的特点。</think>SwiGLU激活函数是Swish函数与门控线性单元（GLU）的结合，其数学表达式可表示为： $$ \text{SwiGLU}(x) = xW \cdot \sigma(\beta xV) $$ 其中$W$和$V$为可学习参数，$\sigma$为Sigmoid函数，$\beta$为Swish函数的缩放参数。 ### 可视化实现 以下是使用Python绘制SwiGLU函数图像的示例代码（假设$W=1$, $V=1$, $\beta=1$）： ```python import numpy as np import matplotlib.pyplot as plt def swiglu(x, beta=1): return x * (x / (1 + np.exp(-beta * x))) # x * Swish(x) x = np.linspace(-5, 5, 500) y = swiglu(x) plt.figure(figsize=(8,4)) plt.plot(x, y, label='SwiGLU') plt.xlabel('x'), plt.ylabel('SwiGLU(x)') plt.title('SwiGLU Activation Function') plt.grid(True) plt.legend() plt.show() ``` ### 图像特性 1. **非线性响应**：在$x>0$区域呈现类线性增长，在$x<0$区域快速饱和 2. **平滑梯度**：全程可导，无ReLU的"死区"问题 3. **门控机制**：通过Sigmoid函数实现自适应特征选择
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值