激活函数总结（三）：激活函数补充

1 引言

在前面的文章中已经介绍了过去大家较为常见的激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2 激活函数

2.1 Softmax激活函数

Softmax函数通常用于多分类问题的输出层。它将每个神经元的原始输出转换为概率分布，确保所有输出的和为1。这使得Sof