GLU, sparsemax, GELU激活函数

1. GLU/GTU 门控机制激活函数

GLU:

其中， $W,V,b,c$ 都是可以学习的参数。

GTU:

f(X) = tanh(X*W+b) * O(X*V+c)

2. sparsemax

sparsemax是2016年提出的。

Softmax：
softmax缺点：每个向量位置都有值。

文章From Softmax to Sparsemax:A Sparse Model of Attention and Multi-Label Classification 提出了能够输出稀疏概率的Sparsemax。

这里把输入 z 和某个分布 p 的欧式距离最小化。

一种具体的实现是，

3. GELU激活函数

GELU激活函数是2018年提出的，在BERT等模型都有应用。

高斯误差线性单元， GAUSSIAN ERROR LINEAR UNITS (GELUS)

近似的方法：

实验效果：


pytorch实现：

def gelu(x):
    """Implementation of the gelu activation function.
        For information: OpenAI GPT's gelu is slightly different (and gives slightly different results):
        0.5 * x * (1 + torch.tanh(math.sqrt(2 / math.pi) * (x + 0.044715 * torch.pow(x, 3))))
        Also see https://arxiv.org/abs/1606.08415
    """
    return x * 0.5 * (1.0 + torch.erf(x / math.sqrt(2.0)))

---

参考：

1. Language Modeling with Gated Convolutional Networks;
2. 论文 From Softmax to Sparsemax:
   A Sparse Model of Attention and Multi-Label Classification；
3. GELU 激活函数；
4. GAUSSIAN ERROR LINEAR UNITS (GELUS) 论文