【激活函数】Swish激活函数详解

Swish：Self-gated activation function（2017）

● Swish图像：

● Swish公式：

当β=1 时：

● Swish导数：

● Swish特点：

● 关于正则化效果

       x轴越靠近左半轴，纵坐标的值越小，甚至接近于0，如果x值是-10，那么经过激活之后的值接近于0，那么就可以一定程度上过滤掉一部分信息，起到正则化的效果。

代码实现：

def swish(x):
    return x * F.sigmoid(x)

# used as class:
class Swish(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x * F.sigmoid(x)