糖葫芦君的博客

在训练神经网时,应该使用哪一个呢?如果是回归问题,用均方误差(MSE).如果是分类问题,一般用交叉熵损失(CE).因为MSE容易发生梯度消失问题,而CE则不会.以分类问题为例,假设我们的类别数量为T,最后一层使用softmax.对一条样本(x,c)而言,其label为c.在神经网络softmax之前的那一层,共有T个神经元:不管是用MSE还是CE，我们都是希望ycy_cyc​越大越好，其...

文章目录优化方法概述整体框架SGDMomentum理解指数加权平均偏差修正AdaGradAdaDelta/RMSPropAdam(Adaptive Moment Estimation)Adam+L2 regularizationL2 regularization与Weight decay学习率衰减局部最优优化方法概述模型优化方法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或...