机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数

分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)

---

PReLU 也是 ReLU 的改进版本：
$$PReLU(x)=\{\begin{array}{rl}x& ,x>0\\ {\alpha }_{i}x& ,x\le 0\end{array}$$

PReLU函数中，参数$\alpha$通常为0到1之间的数字，并且通常相对较小。

• 如果${\alpha }_i=0$，则PReLU(x)变为 ReLU。
• 如果${\alpha }_i>0$，则PReLU(x)变为Leaky ReLU。
• 如果${\alpha }_i$是可学习的参数，则PReLU(x)为PReLU函数。

PReLU函数的特点：

• 在负值域，PReLU的斜率较小，这也可以避免Dead ReLU问题。
• 与ELU相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于0。