2019年
● Mish公式:
● Mish图像:
● 导数:
● Mish优点:
● 和其他激活函数的比较:
代码实现:
def mish(x):
return x * torch.tanh(F.softplus(x))
# used as class:
class Mish(nn.Module):
def __init__(self):
super().__init__()
def forward(self, x):
return x * (torch.tanh(F.softplus(x)))