线性回归问题选用 MSE(Mean Squared Error)作为loss函数:
这里的m表示m个样本的,loss为m个样本的loss均值。
MSE在线性回归问题中比较好用
sigmoid函数的功能是把一个值映射到0-1之间
sigmoid函数常用于二分类问题
softmax函数的功能是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间并且和为1
在多分类问题中,可以用softmax作为最后的激活层(如MNIST分类)
对于类别数量大于2的分类问题,如果每个类别之间互斥,则选用softmax函数(例如:类别为牡丹花、玫瑰花、菊花),如果每个类别之间有交叉则选用与类别数量相等的sigmoid函数(例如:类别为小孩、大人、男人、女人,此处应该选用4个sigmoid函数)