常用激活函数总结

神经网络与激活函数

神经网络从数学上来说，就是用来拟合一个函数。把数据扔进去，得到一个预测结果，以此来解决分类和回归等问题。但是针对不同的问题，需要拟合不同的函数，包括线性函数和非线性函数。神经网络中常常会见到各种激活函数，当需要拟合非线性函数时就需要激活函数登场了。

对于每个神经元来说，都是先进行线性变换，再将线性变换的结果通过激活函数来进行激活。注意，这里的有效激活函数必须是非线性函数。如果采用线性激活函数，则在前向传播的过程中，相当于一直做线性变换，这样的话，无论多少隐藏层，都是线性变换，也就是隐藏层在这里没有发生作用，仍然是一个单层的感知机。当然对于最后一层的输出层则没有这个要求，可以选择线性或者非线性的激活函数。

常用激活函数总结

这里主要介绍非线性激活函数，线性的激活函数也就是恒等函数，在坐标轴表示为一条直线，通常使用较少。常见的非线性激活函数通常可以分为两类，一种是输入单个变量输出单个变量，如sigmoid函数，Relu函数；还有一种是输入多个变量输出多个变量，如Softmax函数，Maxout函数。

1.Sigmoid函数

Sigmoid函数，也叫做S函数将值限定在 $(0,1)$ 之间，能够很好的作为概率来解释算法得到的结果。目前在计算机视觉中不常用，只适用于二分类等问题。

缺点是当输入较大的正数或者负数时，导数就会变为0，这时候采用梯度下降方法就会下降很慢，使得神经网络不能正常更新。同时不是以0为对称，容易在更新时产生 zigzag 路径。

函数定义为
$$a=sigmoid(z)=\frac{1}{1+e^{-z}}$$
其求导结果为
$$a^{\prime }=\frac{1}{1+e^{-z}}\left(1-\frac{1}{1+e^{-z}}\right)=a(1-a)$$

2.tanh函数

thah函数能够将值限定在 $(-1,1)$ 之间，比sigmoid函数更为常用。但是也存在与sigmoid函数一样的缺点，当在z值较大或者较小时，斜率接近0，这时优化速度很慢，这种情况下可以考虑采用ReLU函数。

函数定义为
$$a=thah(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

求导结果为
$$a^{\prime }=1-tan{h}^2(z)=1-a^2$$

3. ReLU函数及其变体

ReLU函数，也叫做线性整流函数，能够解决在值较大时产生的梯度为0的问题，能够正常的更新，并且没有复杂的指数计算，使得性能较好，收敛较快，是目前在视觉领域最为常见的激活函数。

ReLU函数为
$$a=ReLU(z)=max(0,z)$$

其导数为
$$a^{\prime }=\{\begin{array}{cc}0& x<0\\ 1& x>0\end{array}$$

LeakyReLU是为了防止ReLU函数在负数时，斜率为0的情况，但在实际情况中，很难到负数那边去，所以基本采用ReLU就足够了，不过也建议采用交叉验证来试试这个函数。

Leaky ReLU为
$$a=LeakyReLU(z)=max(0.01z,z)$$
其导数为
$$a^{\prime }=\{\begin{array}{cc}0.01& x<0\\ 1& x>0\end{array}$$

此外，还有几种激活函数由算法来学习负数区域的学习率，如PReLU函数和ELU函数，原理与ReLU函数类似。

4.Softmax函数

softmax函数与sigmoid函数很相似，也是将值变换到 $(0,1)$ 之间。但是可以针对多个类别，预测出每个类别的归一化概率，所以通常softmax函数是在分类器的输出层使用。

其函数表达式为
$$\sigma (z{)}_j=\frac{e^{z_j}}{{\sum }_{k=1}^K{e}^{z_k}}$$

如何选择激活函数

选择激活函数没有固定的规则，每个激活函数适用于不同的应用，比如分类和回归，多分类和二分类任务。但根据每个激活函数的性质，也存在一些基本的规律

• 对于二分类问题，在输出层可以选择 sigmoid 函数。
• 对于多分类问题，在输出层可以选择 softmax 函数。
• 由于梯度消失问题，尽量sigmoid函数和tanh的使用。
• tanh函数由于以0为中心，通常性能会比sigmoid函数好。
• ReLU函数是一个通用的函数，一般在隐藏层都可以考虑使用。
• 有时候要适当对现有的激活函数稍作修改，以及考虑使用新发现的激活函数。

欢迎大家关注公众号“计算机视觉与机器学习”