深度学习-样本不均衡损失函数

交叉熵损失函数：

样本不均衡问题：

对于所有样本，损失函数为：

 当样本分布失衡时，在损失函数L的分布也会发生倾斜，如m<<n时，n标签样本就会在损失函数占据主导地位。由于损失函数的倾斜，模型训练过程中会倾向于样本多的类别，造成模型对少样本类别的性能较差。

平衡交叉熵函数(balanced cross entropy)

由于样本分布不均衡造成的损失函数倾斜，最直观的做法就是在损失函数中添加权重因子来平衡，提高少数类别在损失函数中的权重，平衡损失函数的分布。

focal loss

同样也是处理样本不均衡的问题。

即可表达为：

同理，交叉熵也可统一为一个表达式：

 pt反映了与类别y的接近程度，pt越大，说明越接近类别y，即分类准确。

相对于交叉熵，focal loss 相当于多了一个modulating faction，对于分类准确的样本，pt->1，modulating faction趋近于0。对于分类不准确的样本1-pt->1，modulating faction趋近于1。相比于交叉熵损失，对于分类不准确的样本，损失没有改变，对于分类准确的样本，损失会变小。整体而言，相当于增加了分类不准确样本在损失函数中的权重。