激活函数-SwiGLU

SwiGLU

SiLU 函数是一种神经网络中的激活函数，全称是 Sigmoid Gated Linear Unit（Sigmoid门控线性单元）, 也被称为 Swish 函数。它由 Google Brain 在 2017 年提出，是一种非线性激活函数，能够有效地对神经网络的输入进行非线性变换。

定义

$f(x)=x\ast \sigma (x)$

其中：$\sigma (x)=\frac{1}{1+e^{-x}}$

SiLU 函数的特点如下：

• 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
• 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
• SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
• SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重

图形如下

pytorch SILU用示例

m = nn.SiLU()
input = torch.randn(2)
output = m(input)

参考文献：
Prajit Ramachandran, Barret Zoph, and Quoc V Le. Searching for activation functions. arXiv preprint
arXiv:1710.05941, 2017.