为什么 softmax 函数面对二分类问题时可以简化为 sigmoid 函数

将 二分类问题当成普通多分类问题，神经网络如下所示

因为有两个分类，所以需要有两个输出，然后经过 softmax 后得到每个分类的预测概率。

假设第一个分类的得分 $S_1=W_{1}X+b_1$，第二个分类得分 $S_2=W_{1}X+b_2$，

则经过 softmax 层后得到 第一个分类的概率为
$$P_1=\frac{e^{S_1}}{e^{S_1}+e^{S_2}}=\frac{1}{1+e^{S_2-S_1}}$$
第二个分类的概率为
$$P_2=\frac{e^{S_2}}{e^{S_1}+e^{S_2}}=\frac{1}{1+e^{S_1-S_2}}$$
令 $S=S_2-S_1=(W_2-W_1)X+(b_2-b_1)$

那么 $P_1$ 和 $P_2$ 可以重写为
$$\begin{gathered} P_1=\frac{1}{1+e^S} \\ {P}_2=\frac{1}{1+e^{-S}} \end{gathered}$$
这两个公式是等价的，我们只需要求一个即可，另一个通过 $1-P$ 计算得出。

这两个概率 $P$ 随得分 $S$ 的变化图像如下所示：

$P_1$

$P_2$

由上图可见，采取 $P_2$ 的公式时，$S$ 越大，$P$ 的取值越接近1，符合我们的直觉，所以选择这个。这就是 sigmoid 函数

于是上述神经网络可以简化为只有一个输出的神经网络，然后经过 sigmoid 函数得到预测为分类1的概率$P$，另一个分类的概率为 $1-P$。新神经网络只需要训练一个权重 $W$ 和偏移量 $b$ 即可。