各类损失函数汇总

类别损失

1.交叉熵损失 Cross Entropy Loss

分类结果越好，交叉熵越低。

二元交叉熵损失，主要解决二分类问题。

 

 

2.focal loss  FL在交叉熵损失的基础上加了一个因子 (1 − pt)γ，设置γ > 0减少了分类良好的示例的相对损失，将更多的注意力放在难以分类的错误示例上。

softmax loss

逻辑回归 这是 Sigmoid 函数，它产生 S 形曲线。它总是返回一个介于 0 和 1 之间的概率值。Sigmoid 函数用于将期望值转换为概率。该函数将任何实数转换为 0 到 1 之间的数字。我们利用 sigmoid 将预测转换为机器学习中的概率。建立一个阈值来预测数据属于哪个类,导出的估计概率基于该阈值被分类成类。

 

 

 位置损失

1. L1 Loss 平均绝对误差：模型预测值和真实值之间距离的平均值。

2.L2 Loss  均方误差损失： 预测值和真实值之差的平方的平均值。

 3.Smooth L1 loss：对于单个样本，记x为预测值和真实值的差值。

4.记预测框为P，标注框为G，IoU类的损失函数（L1）：

 

5.GIoU Loss在IoU loss的基础上考虑了两个框没有重叠区域时产生的损失。GIoU Loss：

 

C表示两个框的最小包围矩形框，R(P,G)是惩罚项。

 

 6.DIoU Loss在IoU loss的基础上考虑了两个框的中心点距离。DIoU Loss：

 ρ表示预测框和标注框中心端的距离，p和g是两个框的中心点。c表示两个框的最小包围矩形框的对角线长度。

7.Ciou Loss：

 可以看出，CloU loss在DloU loss的不同在于最后一项av，v度量了两个机框的长宽比的距离，a相当于一个平衡系数，取值由loU和v共同决定。需要注意的是，计算v关于wP和hp的梯度时，会在分母上出现wp2+hp2，而CloU中，wP和hp均是归一化后的值，会导致wp-+hp的结果很小，容易出现梯度爆炸。

ssd中的损失函数 总体的目标损失函数定义为定位损失（loc）和置信度损失（conf）的加权和：