sigmoid与softmax

许多分类网络的输出层的激活函数会用到sigmoid与softmax，两者有何区别呢？
一，从函数定义上来看，sigmoid激活函数的定义域能够取任何范围的实数，而返回的输出值在0到1的范围内。sigmoid函数也被称为S型函数，这是由于其函数曲线类似于S型。


Softmax函数计算n个不同事件的概率分布。一般来说，这个函数将会计算每个目标类别在所有可能的目标类中的概率。计算出的概率将有助于确定给定输入的目标类别。使用Softmax的主要优点是输出概率的范围，范围为0到1，所有概率的和将等于1。如果将softmax函数用于多分类模型，它会返回每个类别的概率，并且目标类别的概率值会很大。指数公式计算给定输入值的指数和输入中所有值的指数值之和。那么输入值的指数与指数值之和的比值就是softmax函数的输出。

二，使用分类类型
使用softmax和sigmoid激活函数来做多类分类和多标签分类，一般softmax用于多分类。sigmoid用于二分类或多标签分类。

多分类中首先用softmax将logits转换成一个概率分布，然后取概率值最大的作为样本的分类 。softmax的主要作用其实是在计算交叉熵上，将logits转换成一个概率分布后再