Softmax用于二分类时会退化为Sigmoid

Softmax用于二分类时会退化为Sigmoid

flyfish

Softmax和Sigmoid是两种常用的激活函数，分别用于多分类和二分类任务。当将Softmax用于二分类时会退化为Sigmoid。

1. Softmax函数 ：
   对于一个包含$n$个类别的分类问题，Softmax函数的定义如下：$$\text{Softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$
   其中，$z_i$ 是第 $i$ 类的得分，$e$ 是自然常数。

2. Sigmoid函数 ：
   对于二分类问题，Sigmoid函数的定义如下：$$\text{Sigmoid}(z)=\frac{1}{1+e^{-z}}$$

3. 二分类的Softmax函数 ：
   在二分类问题中，假设有两个类别 $C_1$ 和 $C_2$，对应的得分分别为 $z_1$ 和 $z_2$。那么Softmax函数可以表示为：$$\text{Softmax}(z_1)=\frac{e^{z_1}}{e^{z_1}+e^{z_2}}$$

$$\text{Softmax}(z_2)=\frac{e^{z_2}}{e^{z_1}+e^{z_2}}$$

4. Softmax退化成Sigmoid的过程 ：
   为了将Softmax退化成Sigmoid，可以将其中一个得分 $z_2$ 固定为0，并将 $z_1$ 记为 $z$ 。这种方法实际上是通过设置相对得分来简化计算过程。在这种情况下，Softmax函数变为：$$\text{Softmax}(z)=\frac{e^z}{e^z+e^0}=\frac{e^z}{e^z+1}$$

这与Sigmoid函数的定义是完全相同的：
$$\text{Sigmoid}(z)=\frac{1}{1+e^{-z}}=\frac{e^z}{e^z+1}$$

这里，Sigmoid函数可以看作是一个简化版的Softmax函数，适用于二分类问题。

通过这个过程，可以看到当Softmax函数应用于二分类问题时，它会简化为Sigmoid函数。这是因为在二分类情况下，Softmax的输出只依赖于一个得分（相对得分），这与Sigmoid的计算方式一致。Softmax和Sigmoid的输出在数学上是等价的。