平方损失函数在理论上虽有效，但在实际的深度学习和神经网络应用中，由于非线性激活函数的存在，导致损失函数曲线复杂，易陷入局部最优。吴恩达指出，使用sigmoid激活函数时，平方损失函数的曲线不利于优化。因此，交叉熵损失函数成为更优选择，其曲线平滑，便于梯度下降找到全局最优解。平方误差适合回归问题，而分类问题则更适合采用交叉熵损失函数。
一般平方损失函数的公式如下图所示：
h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值，理论上这个损失函数是很有效果的，但是在实践中却又些问题，它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得很复杂，并不是凸函数，不利于优化，很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候，J的曲线就如下图所示，可以看到这个曲线是很难求出全局最小值的，稍不留神就是局部最小值。
我们当然希望J的曲线能使下图所示，这样可以很容易通过梯度下降来求近似的全局最优解。
所以用均方来做损失函数就显得有局限性，现在大多数损失函数的设计都是基于交叉熵的，如下公式：
最低0.47元/天 解锁文章
扫一扫
2840
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
