激活函数Leaky Relu和Relu的区别

ReLU（Rectified Linear Unit）和Leaky ReLU都是深度学习中常用的激活函数，它们在激活神经网络层时有一些区别：

1.ReLU（修正线性单元）
ReLU 函数对于正数部分直接输出，对于负数部分输出为零。
1.1公式：

1.2优点：
非常简单，计算速度快。
在很多情况下表现得很好。
1.3缺点：
可能存在 "神经元死亡" 问题，即某些神经元在训练过程中可能永远不会被激活，导致权重无法更新。

2.Leaky ReLU（泄漏修正线性单元）
Leaky ReLU 对于负数部分不再输出零，而是输出一个很小的负数，通常用一个小的斜率 α 乘以输入。
2.1公式：

2.2优点：
解决了ReLU的神经元死亡问题，因为负数部分有一个小的梯度。
2.3缺点：
对于 α 的选择比较敏感，需要调参。

选择使用ReLU还是Leaky ReLU通常取决于实际问题和网络的性能。在一些情况下，Leaky ReLU能够更好地处理梯度消失问题，但在其他情况下，ReLU可能表现得更好。