激活函数LeakyReLU

(leaky_0): LeakyReLU(negative_slope=0.1)

LeakyReLU是一种用于深度学习的激活函数，它解决了传统ReLU（修正线性单元）在输入小于0时输出为0的问题。ReLU函数，在x < 0 的范围内梯度恒为0，无法更新参数，这导致神经元“死亡”，不再对任何输入产生响应。

LeakyReLU通过在输入小于0时引入一个小的负斜率来解决这个问题，从而允许一些负的梯度流过神经元，有助于缓解梯度消失问题。

数学表达式

或

或

其中，x是输入，α是负斜率，值在0到1之间。当x大于0时，LeakyReLU的输出与ReLU相同；当x小于0时，输出为α*x。

优缺点

优点：避免神经元死亡，一定程度缓解梯度消失问题，提高神经网络的训练效果。

缺点：可能导致梯度爆炸，同时负斜率参数α缺少可解释性。