GELU()更适合NLP任务的激活函数

目录

简介

GELU()的原理与实现

 GELU()与Swish()、Mish()的关系

---

简介

GELU（Gaussian Error Linear Unit，高斯误差线性单元）激活函数与随机正则化有关，可以起到自适用Dropout的效果。该激活函数在NLP领域中被广泛应用，BERT、RoBERTa、ALBERT等模型都使用了这种激活函数。另外，在OpenAi的无监督预训练模型GPT-2中，研究人员在所有编码器模块中都使用了GELU()激活函数。

GELU()的原理与实现

Dropout、Relu等机制都是将不重要的激活信息变为零，但不改变重要的信息。这种做法可以被理解为，神经网络的激活值乘一个激活参数1或0。

GELU()激活函数将激活参数1或0的取值概率与神经网络的激活值结合起来，这使得神经网络可以有明确的决策结果。即神经网络的激活值越小，则其所乘的激活参数为1的概率也越小。这种不仅可以保留概率性，也可以保留对输入的依赖性。

GELU()激活函数的计算过程可以被描述成：对于每一个输入x都乘以一个二项式分布Φ(x),见如下式子：

GELU（x）=xΦ（x)

因为上式中的二项式分布函数是无法直接计算的，所以研究者通过另外的方法来进行替代，具体表达式可以写成式：

代码实现如下：

def gelu(x):
    return 0.5*x*(1+torch.tanh(torch.tensor(np.sqrt(2/np.pi)*(x+0.044715*pow(x,3)))))

 GELU()与Swish()、Mish()的关系

Swish（）与MIsh（）都是GELU（）函数的特例，只不过用了不同的二项式分布函数: