7.类神经网络训练不起来怎么办（四）损失函数的影响

类神经网络训练不起来怎么办（四）

分类

Class as one-hot vector

$y=(1,0,0{)}^{T}or(0,1,0{)}^{T}or(0,0,1{)}^T$

$\hat{y}\leftarrow y^{{}^{\prime }}=softmax(y)$

Soft-max

$y=\frac{\exp (y_i)}{{\sum }_j\exp (y_j)}$

让y变到0-1之间，各个输出之间的差距更大

两个class用sigmoid和softmax是一样的

分类问题的损失函数

Cross-entropy:$e=-{\sum }_i{y}_i\ln {\hat{y}}_i$

损失函数也会影响训练