DeepLearning-loss探讨

cross-entropy

交叉熵代价函数能够再相同条件下，学习的的速率较二次代价函数要快。越大的误差，学习速度越快。

因为在求输出层和中间层的delta的时候，会有一个乘子，就是激活函数关于输入的导数。当采用sigmoid函数作为激活函数的时候，sigmoid的输出接近0或者1的时候，sigmoid变得很平缓，求导后的值就变得很小（神经元饱和）。再乘上学习率，就成了一个很小的值，也就是迈开的步子很小，学习的很慢。而交叉熵代价函数能够把这个乘子给约掉。很好的避免了学习速度下降的原因。

还有个问题，使用Relu激活函数，还有必要使用交叉熵吗。