ability to preserve small negative weights

“能够保留小的负权重”是指激活函数在处理输入时，能够让一些小于零的输入（负值）保持一定的影响，而不是完全压制为零。以下是一个简单的例子来说明这一点：

例子：

假设我们有一个激活函数，如ReLU

在这个例子中，当输入为负数时，ReLU会将其输出为0，完全抹去了负权重的信息。

而对于具有保留小负权重特性的激活函数，例如Leaky ReLU

这里的 α是一个小的正数（如0.01）。当输入为负数时，Leaky ReLU仍然允许小的负值输出，例如，如果输入是-0.1，输出将是-0.001（假设α=0.01）。这样，Leaky ReLU能够保留负权重的信息，避免了“死亡神经元”的问题。

总结：

能够保留小的负权重的激活函数在处理负输入时，不会完全将其压制为零，而是让其输出一个小的负值，从而保留了一些有用的信息。这种特性有助于提高模型的学习能力和表现。