Mish: 自正则非单调神经激活函数

paper

1、介绍

本文介绍了一种新的神经激活函数Mish。在广泛的测试和实验进行了Mish比Swish和ReLU展示了更好的结果。

2. Mish

Mish是一种新的光滑非单调的神经激活函数，定义为：

                                       

                                         

Mish的图形如图1所示。

                                 

与Swish和ReLU一样，Mish有下界，无上界，取值范围为[≈-0.31，∞]。图2中Mish的导数定义为:

                                                

其中  ，。Mish在，最小值大小为

Mish通过使用一个名为Self的属性从Swish中获得灵感，其中标量输入被提供给gate。自选门的特性有利于替代像ReLU(点向函数)这样的激活函数，这些函数无需输入任何标量就可以接收单个标量更改网络参数。