nn.GLU()的实现

在pytorch中有nn.GLU的门控线性激活函数，其具体实现如下：

class GLU(nn.Module):
    def __init__(self):
        super(GLU, self).__init__()

    def forward(self, x):
        nc = x.size(1)
        assert nc % 2 == 0, 'channels dont divide 2!'
        nc = int(nc/2)
        return x[:, :nc] * torch.sigmoid(x[:, nc:])
 

补充：
基于Gate mechanism的GLU、GTU 单元：

GTU（Gated Tanh Unit）的表达式为：$h_l(X)$ = $tanh(X\ast W+b)$ $\otimes$ $\delta (X\ast V)$ + $c$
GLU（Gated Liner Unit）的表达式为： $h_l(X)$ = $(X\ast W+b)$ $\otimes$ $\delta (X\ast V)$ + $c$
and ⊗ is the element-wise product between matrices.(⊗表示矩阵乘法的点积)
分析GTU和GLU的组成结构可以发现：

Tanh激活单元：tanh(X * W+b)，加上一个Sigmoid激活单元：O(X*V+c)构成的gate unit，就构成了GTU单元。

Relu激活单元：(X * W + b)，加上一个Sigmoid激活单元：O(X * V + c)构成的gate unit，就构成了GLU单元。