Swish:Self-gated activation function(2017)
● Swish图像:
● Swish公式:
当β=1 时:
● Swish导数:
● Swish特点:
● 关于正则化效果
x轴越靠近左半轴,纵坐标的值越小,甚至接近于0,如果x值是-10,那么经过激活之后的值接近于0,那么就可以一定程度上过滤掉一部分信息,起到正则化的效果。
代码实现:
def swish(x):
return x * F.sigmoid(x)
# used as class:
class Swish(nn.Module):
def __init__(self):
super().__init__()
def forward(self, x):
return x * F.sigmoid(x)