【无聊问题之】激活函数的“饱和”是什么

在神经网络中，当一个激活函数在某个输入区域内达到其最大值或最小值，并且对输入的进一步增加或减少不再敏感时，我们就称该函数在这个区域内是"饱和"的。

举个例子，如ELU（Exponential Linear Unit ）激活函数：

• 如果输入 x > 0，则 ELU(x) = x
• 如果输入 x ≤ 0，则 ELU(x) = α * (exp(x) - 1)

对于ELU函数来说，在负输入区域，随着输入值的减小，ELU 的输出将趋近于一个固定的负值（通常是 -α，其中 α 是一个超参数），而不会继续无限下降。这是因为 ELU 在负输入区域采用了指数函数的形式，当输入值足够小时，指数函数的增长会变得非常缓慢，导致输出几乎不再变化。

在 x ≤ 0 的区域，随着 x 的减小，exp(x) 的值会迅速趋向于 0，从而使得 ELU(x) 趋向于 -α。因此，我们可以说 ELU 在负输入区域是"饱和"的。

这种饱和特性有助于减少神经元在负输入区域的过度激活，并且可以使得网络的输出更加稳定。同时，由于 ELU 在负输入区域仍然有非零的输出和梯度，它也避免了像 ReLU 那样的“死亡神经元”问题。