损失函数一直在波动_各种损失函数详解

开一篇文章，记录我遇到过的论文中损失函数。还没看过多少文章，所以目前接触的还比较少。

1. 简单的诸如0-1损失的就不提了，比较简单。

2. 均方误差函数

这个损失函数大家都能理解，形式比较简单:

。主要应用于回归任务，如在目标检测任务中对于坐标的损失计算。

3. 交叉熵损失

广泛应用于分类的损失函数，一般是先将网络输出进行一个softmax操作，将数值转为类别概率（以前一直疑惑为什么要用softmax，而不直接求和。通过指数操作能将所有数化为正数。另外也是为了反向传播时不会导致梯度爆炸问题）。接着将结果带入到交叉熵损失函数中，他可以进行二分类和多分类任务。如预测是否是物体，就是一个二分类问题，预测是哪个物体的概率，就是多分类问题。公式如下

,

是第j个真实标签，只有一个位置是1，（0,0,0, ... ,1, ... ,0）。