深度学习之激活函数——PReLU

参数整流线性激活函数(PReLU)，全称Parametric ReLU，在解决ReLU激活函数会出现的dead relu神经元死亡的现象的同时，引入一个新的可学习的参数对激活函数进行控制。

函数表达式

f ( x ) = m a x { α x , x } , 其中 α < < 1 f(x)=max\{\alpha x,x\},其中\alpha<<1 f(x)=max{αx,x},其中α<<1

当$x<0$时，函数值为$f(x)=\alpha x$，比如像$f(x)=0.001x$，但是$\alpha$不是固定的，也是一个需要通过梯度下降去学习的参数；当$x>0$时，函数值为$f(x)=x$

函数图像

函数特性

优点：

• 可以在一定程度上解决ReLU出现的dead ReLU问题，虽然斜率$\alpha$的值很小，但是依然存在梯度可以更新
• $\alpha$需要通过学习来确定，更加适应不同的神经网络