神经网络 分类 sigmoid softmax

在mlp中，新神经元的输出可以理解为，前面很多个神经元信号经过激活函数处理后的结果。这个激活函数是可以调的，二分类任务，最后的激活函数使用sigmoid很适用，类似于逻辑回归。但如果是多分类，而且结果是多类别中的某一个（比如结果是4类中的一类，我们可以理解为这四个类别发生的概率之和为1），那我们可以使用softmax，通过这个激活函数运算，输出为每个类别可能的概率，最大的概率那个，就是本次预测的类别。

神经网络分类器最终结果为某一向量，即“原始输出值”，如[-0.5, 1.2, -0.1, 2.4]，这四个输出值分别对应类别A B C D。但这些原始输出值是什么意思？

将输出值转换为概率可能更容易理解。比起看似随意的“2.4”，D类的可能性为91％，这种说法更便于理解。

Sigmoid函数或Softmax函数可以将分类器的原始输出值映射为概率。

Softmax函数重复上述过程：

Sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1，如图0.37 + 0.77 + 0.48 + 0.91 = 2.53。

相反，Softmax函数的输出值相互关联，其概率的总和始终为1，如图0.04 + 0.21 + 0.05 + 0.70 = 1.00。

如果模型输出为非互斥类别，且可以同时选择多个类别，则采用Sigmoid函数计算该网络的原始输出值。 如果模型输出为互斥类别，且只能选择一个类别，则采用Softmax函数计算该网络的原始输出值。