Swish函数小记

前言

今天上课的时候，在总结和深入阅读那一块有一段话：[Ramachandran et al.,2017]设计了不同形式的函数组合方式，并通过强化学习来搜索合适的激活函数，在多个任务上发现Swish函数具有更好的性能。前面大致浏览过Swish函数形式，对其很是陌生。我所熟知的激活函数是$\sigma$,Tanh函数，ReLU函数（最常用），这里稍微整理一下Swish函数，并附上绘制Swish的python程序。

Swish函数

Swish是一种自门控(Self-Gated)激活函数，定义为：$swish\left(x\right)=x\sigma \left(\beta x\right)$,其中$\sigma \left(\cdot \right)$为$Logistic$函数，$\beta$为可学习的参数或者一个固定的超参数。$\sigma \left(\cdot \right)$∈（0，1）可以看作一个软性的门控机制。当$\sigma \left(\beta x\right)$接近于1的时候，“门”处于一种“开”状态，激活函数的输出近似于$x$本身；当$\sigma \left(\beta x\right)$接近于0时，“门”处于一种”关“的状态，激活函数的输出近似为0.
Swish的函数绘制如下：

当$\beta$为0时，Swish函数变为线性函数$x/2$,当$\beta$为1时Swish函数在$x>0$时近似线性，在$x<0$时近似饱和，同时具有一定的非单调性，当$\beta$趋于正无穷时，Swish可以看作近似为ReLU函数。因此Swish可以看作线性函数和ReLU函数之间的非线性插值函数，其程度由参数$\beta$控制。

总结

这里的函数依旧是去接近于ReLU，吴恩达视频中对ReLU函数有很高的评价，在具体的实验中，至于用哪一个还得综合考量。