PyTorch中激活函数GELU、Swish、Mish函数的实现

GELU的中文名为高斯误差线性单元，它在自然语言处理领域被广泛应用。GELU激活函数结合了激活参数1或0的取值概率和神经网络的激活值，使得神经网络的激活值越小，其所乘的激活概率为1的概率越小，以此保留概率性和对输入的依赖性。具体实现如下：

def gelu(x):
    return 0.5*x*(1+tanh(np.sqrt(2/np.pi)*(x+0.044715*pow(x,3))))

Swish和Mish函数可以看作是GELU的一个特例，可以替换模型中现有的激活函数，使模型精度有所提高。实现代码如下：

import torch
import torch.nn.functional as F

'''函数形式'''
def swish(x,beta=1):
    return x*torch.nn.Sigmoid()(x*beta)

def mish(x):
    return x*(torch.tanh(F.softplus(x)))

'''类形式'''
class Mish(nn.Module):
    def __init__(self):
        super().__init__()
    def forward(self,x):
        return x*(torch.tanh(F.softplus(x)))