Leaky ReLU激活函数是为了解决ReLU激活函数会出现的dead relu神经元死亡的现象,而这一现象的根本原因是ReLU函数在 x < 0 x<0 x<0的范围内梯度恒为0,无法更新参数。所以Leaky ReLU将 x < 0 x<0 x<0的部分换成一个斜率很小的一个线性函数来解决这一问题。
函数表达式
f ( x ) = m a x { α x , x } , 其中 α < < 1 f(x)=max\{\alpha x,x\},其中\alpha<<1 f(x)=max{αx,x},其中α<<1
当 x < 0 x<0 x<0时,函数值为 f ( x ) = α x f(x)=\alpha x f(x)=αx,比如像 f ( x ) = 0.001 x f(x)=0.001x f(x)=0.001x;当 x > 0 x>0 x>0时,函数值为 f ( x ) = x f(x)=x f(x)=x
函数图像
函数特性
虽然其是ReLU的优化,但是实验中其整体效果不如ReLU(或者说不相上下,但是在ReLU调参合理的情况下,Leaky ReLU优势很弱)。如果数据处理后绝大部分为正数或者归一化到(0,1),则无需使用Leaky ReLU。
优点:
- 可以在一定程度上解决ReLU出现的dead ReLU问题,虽然斜率 α \alpha α的值很小,但是依然存在梯度可以更新
缺点:
- 由于该函数很像一个线性函数,所以其对复杂分类的效果不是很好