sigmoid？softmax？该选哪个呢？

线性回归问题选用  MSE（Mean Squared Error）作为loss函数：

这里的m表示m个样本的，loss为m个样本的loss均值。 
MSE在线性回归问题中比较好用

 

sigmoid函数的功能是把一个值映射到0-1之间

sigmoid函数常用于二分类问题

 

softmax函数的功能是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间并且和为1

在多分类问题中，可以用softmax作为最后的激活层（如MNIST分类）

 

对于类别数量大于2的分类问题，如果每个类别之间互斥，则选用softmax函数（例如：类别为牡丹花、玫瑰花、菊花），如果每个类别之间有交叉则选用与类别数量相等的sigmoid函数（例如：类别为小孩、大人、男人、女人，此处应该选用4个sigmoid函数）

转载于:https://my.oschina.net/u/4135288/blog/3059073