ML基本知识（十四）激活函数

激活函数本质

增加神经网络的非线性型，具体而言为提升神经网络的拟合能力。

各类激活函数

relu

求导

$$f^{\prime }(x)=\{\begin{array}{c}1ifx>0\\ 0ifx⩽0\end{array}$$

优点

1. 收敛速度快很多。
2. 简单，实现比较容易。

缺点

1. 容易梯度消失，如下情况网络参数W的梯度会消失：W初始化为一个很小的正值，与正值x相乘后得到y(正值)，之后y经过relu得到z，根据链式法则对W进行梯度计算得$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial y}\frac{\partial y}{\partial W}=\frac{\partial L}{\partial z}\cdot 1\cdot x$，当$\frac{\partial L}{\partial z}$>0且较大时，W更新后的取值$W=W-\alpha \frac{\partial L}{\partial z}\cdot 1\cdot x$ < 0，而当下一轮正值x与负值W相乘后得到y(负值)，根据relu计算公式得到$\frac{\partial z}{\partial y}$为0，直接导致W的梯度$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial y}\frac{\partial y}{\partial W}$为0，进而W的取值得不到更新，进而形成梯度消失的现象。
2. relu不会对数据做幅度压缩，所以如果数据的幅度不断扩张，那么模型的层数越深，幅度的扩张也会越厉害，最终会影响模型的表现。
3. 在0点不可导，造成推导结果不稳定。

leaky relu

$$f(x)=\{\begin{array}{c}xifx>0.\\ \alpha xifx⩽0,\alpha >0\end{array}$$

求导

$$f(x)=\{\begin{array}{c}1ifx>0.\\ \alpha ifx⩽0,\alpha >0\end{array}$$

优点

1. 能够有效避免relu造成的梯度消失问题。

prelu

$$f(x)=\{\begin{array}{ll}{x}_i& \text{ if }{x}_i>0\\ a_i{x}_i& \text{ if }x⩽0\end{array}$$

优点

1. 多了一个参数，非线性变换的效果更好。
2. 参数更新时采用的是momentum更新，$\Delta a_i:=\mu \Delta a_i+ϵ\frac{\partial \epsilon }{\partial a_i}$。
3. 更新$a_i$时不添加L2正则化，这样会将$a_i$直接干到0附近。

sigmoid

求导

$$f^{\prime }(x)=\frac{e^{-x}}{1+e^{-x}}\cdot \frac{1}{1+e^{-x}}=(1-f(x))\cdot f(x)$$

优点

1. 把实数压缩到[0,1]范围内，实现了真正意义上的激活。

缺点

1. 容易饱和，输入过大或者过小的时候都会使得梯度变为0，因而导致更新很慢。
2. 幂计算相对耗时。

tanh

$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

求导

$$f^{\prime }(x)=1-f^2(x)$$

优点

1. 和sigmoid类似，实现数据的压缩。

缺点

1. 依然面临sigmoid的缺点，输入过大或者过小的时候都会使得梯度变为0，因而导致更新很慢。

参考链接

1. 神经网络常用的12种激活函数