深度学习基础（十二）—— ReLU vs PReLU

最新推荐文章于 2024-05-18 13:21:49 发布

五道口纳什

最新推荐文章于 2024-05-18 13:21:49 发布

阅读量2.4w

点赞数 2

分类专栏：深度学习

本文链接：https://blog.csdn.net/lanchunhui/article/details/52644823

版权

61 篇文章 9 订阅

订阅专栏

从算法的命名上来说，PReLU 是对 ReLU 的进一步限制，事实上 PReLU（Parametric Rectified Linear Unit），也即 PReLU 是增加了参数修正的 ReLU。

在功能范畴上，ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励函数（activation function）。

注意图中通道的概念，不通的通道对应不同的 $$

如果 $a_i=0$ ，那么 PReLU 退化为 ReLU；如果 $a_i$ 是一个很小的固定值（如ai=0.01），则 PReLU 退化为 Leaky ReLU（LReLU）。有实验证明，与 ReLU 相比，LReLU 对最终的结果几乎没什么影响。

PReLU 只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同 channels 使用相同的 $a_i$ 时，参数就更少了。
BP 更新 $a_i$ 时，采用的是带动量的更新方式，如下图：

$Δ a i : = μ Δ a i + ϵ \partial ε \partial a i$ $\Delta a_i:=\mu \Delta a_i+\epsilon \frac{\partial \varepsilon}{\partial a_i}$

上式的两个系数分别是动量和学习率。

需要特别注意的是：更新 $a_i$ 时不施加权重衰减（L2正则化），因为这会把 $a_i$ 很大程度上 push 到 0。事实上，即使不加正则化，试验中 $a_i$ 也很少有超过1的。
整个论文， $a_i$ 被初始化为 0.25。

关注