Softmax函数与Sigmoid函数的区别与联系

Sigmoid和Softmax的区别与联系

1. Sigmoid函数
   $Sigmoid$函数也叫$Logistic$函数，将输入值压缩到$(0,1)$区间之中，其函数表达式为： $$Sigmoid(x)=\frac{1}{1+e^{-x}}$$ 函数图像如图所示：
   
   其求导之后的表达式为： $${\mathrm{Sigmoid}}^{\prime }(x)=\mathrm{Sigmoid}(x)\cdot (1-\mathrm{Sigmoid}(x))$$ 其梯度的导数图像如：
   
   对于$Sigmoid$函数，其 优点为：

   • 输出范围限制：函数将其输入映射到有限的范围[0, 1]之间，这有助于防止模型的输出变得过大或过小，从而提高模型的稳定性；
   • 适用于二元分类：函数在二元分类问题中非常有用，可以将输入的线性组合映射到0到1之间的概率，用于表示正类别和负类别的概率。
   • 平滑性：函数是光滑连续且可导的，因此在训练过程中具有连续的梯度。

   其``缺点为：

   • 梯度消失问题：Sigmoid函数的梯度在接近0和1的极端位置非常小，容易导致梯度消失问题。
   • 非零中心输出：Sigmoid函数的输出值很明显均大于0，输出均值不等于0，导致后一层的神经元将得到上一层非$0$均值的信号作为输入，从而会对梯度产生影响。
   • 计算复杂度高：Sigmoid函数的计算涉及指数运算，尤其是在大规模深度网络中，它会增加计算成本。

2. Softmax函数
   $Softmax$函数又称归一化指数函数，函数表达式为： $$y_i=\mathrm{Softmax}(x_i)=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}$$ 其中，$i\in [1,n]$，${\sum }_i{y}_i=1$。
   
   $Softmax$函数可以将上一层的原始数据进行归一化，转化为一个$(0,1)$之间的数值，这些数值可以被当做概率分布，用来作为多分类的目标预测值。$Softmax$函数一般作为神经网络的最后一层，接受来自上一层网络的输入值，然后将其转化为概率。

   对于$Softmax$函数而言，我们可以从不同的角度来理解它：

   • $Argmax$是一个暴力的找最大值的过程，最后的输出是以一个$One-hot$形式，将最大值的位置设置为$1$，其余为$0$。这样的话，则在网络训练中，是不可导的，我们采用$Softmax$看作是$Argmax$的平滑近似，从而可以使得网络可导。
   • $Softmax$将输入向量归一化映射到一个类别概率分布，即$n$个类别上的概率分布，因此我们常将$Softmax$放到$MLP$ 的最后一层。
   • 从概率图角度，$Softmax$可以理解为一个概率无向图上的联合概率。

3. 联系

   1. $Sigmoid$函数和$Softmax$函数都用于将模型的输出映射到概率分布，使得输出值在0到1之间，并且用于表示不同类别的概率；
   2. 对于二分类任务而言，二者都可以达到目标，理论上没有什么区别。例如在二分类$(x_1,x_2)$任务中， 经过$Sigmoid$函数之后： $$\mathrm{Sigmoid}\left(x_1\right)=\frac{1}{1+e^{-x_1}}$$ 对于$Softmax$函数，则为： $$\mathrm{Softmax}\left(x_1\right)=\frac{e^{x_1}}{e^{x_1}+e^{x_2}}=\frac{1}{1+e^{-\left(x_1-x_2\right)}}$$ 对于$x_1-x_2$,我们可以使用一个$z_1$来进行替换，则替换成了： $$\mathrm{Softmax}\left(x_1\right)=\frac{1}{1+e^{-z_1}}$$

4. 区别

   1. $Sigmoid$函数用于多标签分类问题，选取多个标签作为正确答案；$Softmax$函数用于多分类问题，即从多个分类中选取一个正确答案。
   2. $Sigmoid$函数的输出范围是[0, 1]，可以视为一个概率；$Softmax$函数的输出是一个多元分布，所有类别的概率之和等于1。
   3. 在二分类任务中:
      • $Sigmoid$函数针对两点分布提出。神经网络的输出经过它的转换，可以将数值压缩到$(0,1)$之间，得到的结果可以理解成分类成目标类别的概率$P$，而不分类到该类别的概率是$(1-P)$，这也是典型的两点分布的形式。
      • $Softmax$函数本身针对多项分布提出，当类别数是2时，它退化为二项分布。而它和Sigmoid函数真正的区别就在——二项分布包含两个分类类别（姑且分别称为$A$和$B$），而两点分布其实是针对一个类别的概率分布，其对应的那个类别的分布直接由$1-P$得出。
      • $Sigmoid$函数可以认为是对一个类别的“建模”，将该类别建模完成，另一个相对的类别就直接通过1减去得到。而$softmax$函数，是对两个类别建模，同样的，得到两个类别的概率之和是1。

5. 总结

   • 如果模型输出为非互斥类别，且可以同时选择多个类别，则采用$Sigmoid$函数计算该网络的原始输出值。
   • 如果模型输出为互斥类别，且只能选择一个类别，则采用$Softmax$函数计算该网络的原始输出值。
   • $Sigmoid$函数可以用来解决多标签问题，$Softmax$函数用来解决单标签问题。
   • 对于某个分类场景，当Softmax函数能用时，Sigmoid函数一定可以用。

参考文献

• Softmax函数与Sigmoid函数的区别与联系