开一篇文章,记录我遇到过的论文中损失函数。还没看过多少文章,所以目前接触的还比较少。
- 简单的诸如0-1损失的就不提了,比较简单。
2. 均方误差函数
这个损失函数大家都能理解,形式比较简单:
。主要应用于回归任务,如在目标检测任务中对于坐标的损失计算。
3. 交叉熵损失
广泛应用于分类的损失函数,一般是先将网络输出进行一个softmax操作,将数值转为类别概率(以前一直疑惑为什么要用softmax,而不直接求和。通过指数操作能将所有数化为正数。另外也是为了反向传播时不会导致梯度爆炸问题)。接着将结果带入到交叉熵损失函数中,他可以进行二分类和多分类任务。如预测是否是物体,就是一个二分类问题,预测是哪个物体的概率,就是多分类问题。公式如下
,
是第j个真实标签,只有一个位置是1,(0,0,0, ... ,1, ... ,0)。