激活函数总结

参考 Activation Functions Explained - GELU, SELU, ELU, ReLU and more

1.sigmoid

$sigmoid$ 是一个 $logistic$ 非线性函数，即不管输入是什么，得到的输出都在区间 $(0,1)$：
$$sigmoid(x)=\frac{1}{1+e^{-x}}$$

假设前向传播时为：
$$\begin{gathered} z^{(L)}=w^{(L)}\times a+b \\ {a}^{(L)}=\sigma (z^{(L)}) \\ C=(a^{(L)}-y{)}^2 \end{gathered}$$
那么反向传播的梯度将是：
$$\frac{\partial C}{\partial w^L}=\frac{\partial C}{\partial a^L}\frac{\partial a^L}{\partial z^L}\frac{\partial z^L}{\partial w^L}$$
其中：
$$\begin{gathered} \frac{\partial a^L}{\partial z^L}={\sigma }^{\prime }(w\times a^{L-1}+b) \\ {\sigma }^{\prime }(x)=\sigma (x)(1-{\sigma }^{\prime }(x)) \end{gathered}$$
${\sigma }^{\prime }(x)$ 的值在 $[0,0.25]$，而多个小于 $0$ 的数连乘将会导致梯度消失，每个权重更新得都会很慢，有时导致训练不会有任何进展

假设单个神经元串成一条线，最后产生输出，当 $b_1$发生变化时：
$$\begin{gathered} a_1=\sigma (z_1)=\sigma (w_1{a}_0+b_1) \\ \frac{\partial a_1}{\partial b_1}=\frac{\partial \sigma (z_1)}{\partial b_1} \\ \Delta a_1\approx \frac{\partial \sigma (w_1{a}_0+b_1)}{\partial b_1}\Delta b_1={\sigma }^{\prime }(z_1)\Delta b_1 \\ {z}_2=w_2{a}_1+b_2 \\ \Delta z_2\approx \frac{\partial z_2}{\partial a_1}\Delta a_1=w_2\Delta a_1=w_2{\sigma }^{\prime }(z_1)\Delta b_1 \\ ... \\ C=w_2{\sigma }^{\prime }(z_1)w_3{\sigma }^{\prime }(z_2)w_3{\sigma }^{\prime }(z_4)...\frac{\partial C}{\partial a}\Delta b_1 \\ \frac{\partial C}{\partial b_1}=w_2{\sigma }^{\prime }(z_1)w_3{\sigma }^{\prime }(z_2)w_3{\sigma }^{\prime }(z_4)...\frac{\partial C}{\partial a_L} \end{gathered}$$
当 $w_1,w_2,...w_L$比较大的时候，连乘将导致梯度爆炸，网络将收敛不到合适的值，有时甚至超出计算机数值表示范围产生$inf$或者$nan$，同时使学习率的调整十分敏感，有一些方法可以缓解，比如梯度裁剪等

2.relu

$$relu(x)=max(x,0)$$

梯度要么是 $0$，要么是 $1$，如果某个梯度为 $0$：
$$\frac{\partial C}{\partial b_1}=w_2{\sigma }^{\prime }(z_1)w_3{\sigma }^{\prime }(z_2)w_3{\sigma }^{\prime }(z_4)...\frac{\partial C}{\partial a_L}$$
整个梯度将会是 $0$，此时 $b_1$ 将不会更新，称为 $relu$ 死亡，此时梯度将会比较稀疏，空间和时间方面将更有效率，因此使用 $relu$ 作为激活函数时：

• 能够避免梯度消失（最后梯度不是 $0$ 就是 $1$，不会得到接近 $0$ 的非 $0$ 数），但不能避免梯度爆炸
• 引入了稀疏性

3.elu

$elu$ 修补了 $relu$ 的一些问题，而且保留了一些它好的性质：
$$elu(x)=\{\begin{array}{ll}x& \text{if x>0}\\ \alpha (e^x-1)& \text{if x<0}\end{array}$$
大于 $0$ 的部分和 $relu$ 一致，小于 $0$ 的部分改动了，保留了避免梯度消失的性质：
$$el{u}^{\prime }(x)=\{\begin{array}{ll}1& \text{if x>0}\\ elu(x)+\alpha & \text{if x≤ 0}\end{array}=\{\begin{array}{ll}1& \text{if x>0}\\ \alpha e^x& \text{if x≤ 0}\end{array}$$
使用 $elu$ 作为激活函数：

• 避免了死亡 $relu$ 问题
• 能够产生负输出，输出均值接近 $0$，加速收敛
• 激活值更平滑，而不是很多 $0$
• 较 $relu$ 计算复杂度更高且也不能避免梯度爆炸
• 引入参数 $\alpha$

4.leaky relu

$leakyrelu$ 相较 $elu$ 有一些缺陷，较 $relu$ 有一些优势：
$$\begin{gathered} lrelu(x)=\{\begin{array}{ll}x& \text{if x>0}\\ \alpha x& \text{if x≤0}\end{array} \\ lrel{u}^{\prime }(x)=\{\begin{array}{ll}1& \text{if x>0}\\ \alpha & \text{if x≤0}\end{array} \end{gathered}$$
使用 $leakyrelu$ 作为激活函数：

• 避免了死亡 $relu$ 问题，因为引入了一个小的梯度 $\alpha$ 而不是截断为 $0$
• 相较 $elu$ 计算更快，但更加“线性”，而 $elu$ 由于有指数部分不那么"线性"
• 不能避免梯度爆炸，且也引入了参数 $\alpha$

5.数值稳定

为了让梯度在合理范围内可以采取一些方法：

• 将乘法变成加法，比如 $ResNet,LSTM$
• 归一化：梯度归一化，梯度裁剪
• 合理的权重初始（Xavier初始化）和激活函数选择
• 数值稳定性 + 模型初始化和激活函数【动手学深度学习v2】