机器学习中的数学——激活函数（四）：Leaky ReLU函数

分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)

---

它是一种专门设计用于解决Dead ReLU问题的激活函数：

$$LeakyReLU(x)=\{\begin{array}{rl}x& ,x>0\\ \alpha x& ,x\le 0\end{array}$$

Leaky ReLU函数的特点：

• Leaky ReLU函数通过把$x$的非常小的线性分量给予负输入$0.01x$来调整负值的零梯度问题。
• Leaky有助于扩大ReLU函数的范围，通常$\alpha$的值为0.01左右。
• Leaky ReLU的函数范围是负无穷到正无穷。

Leaky ReLU函数的图像：