MSE和Cross-entropy梯度更新比较

一.平方损失(MSE)

Loss函数: 

梯度:

由于x,y是已知的，故可以忽略掉

 梯度更新:

    

sigmoid函数:

可以看出 导数在z取大部分值，都是很小的，这样会使梯度更新慢．

y为1或0是，当a=1,w的梯度为0,a=0,w的梯度为0，故就能看出梯度更新慢．

二.交叉熵损失(Cross-entropy)

梯度更新比较图

 可看出逻辑回归比MSE慢．

Loss函数:

简写形式:

梯度更新:

由于没有导数那一项，导致梯度更新不再慢．

参考:

交叉熵损失