Dice Loss，balanced cross entropy，Focal Loss

Dice Loss

Dice系数是一种集合相似度度量函数，取值范围在[0,1]：$$s=\frac{2|X\cap Y|}{|X|+|Y|}$$其中，$|X\cap Y|$是$X$和$Y$之间的交集元素个数，$|X|,|Y|$分别是$X$和$Y$的元素个数。

Dice Loss为：$$L_{dice}=1-\frac{2|X\cap Y|+1}{|X|+|Y|+1}$$Dice Loss常用于语义分割，我们将$|X\cap Y|$近似为预测tensor与GT tensor的element-wise乘积，再将乘积后的矩阵求和（令$X$是pred，$Y$是GT）：

逐个元素求和：

对于$|X|$和$|Y|$的计算，直接对pred和GT tensor求和得到。

---

dice loss 比较适用于样本极度不均的情况，一般的情况下，使用 dice loss 会对反向传播造成不利的影响，容易使训练变得不稳定。因为CE的梯度形式是加法，而Dice Loss的梯度形式是乘法，这导致梯度会很小或者很大，训练过程难以收敛。

---

balanced cross entropy

基于样本非平衡造成的损失函数倾斜，一个直观的做法就是在损失函数中添加权重因子，提高少数类别在损失函数中的权重，平衡损失函数的分布。权重的大小根据正负样本的比例进行设置。

比如对于二分类问题，BCE为：$$L=-ylog(\hat{p})-(1-y)log(1-\hat{p})$$其中，$\hat{p}$为预测是正样本的概率，$y$为label（0负样本或1正样本）

当考虑正负样本比例后，BCE为：$$L=-\alpha log(\hat{p})-(1-\alpha )log(1-\hat{p})$$其中，$\frac{\alpha }{1-\alpha }=\frac{n}{m}$，$m$为正样本数，$n$为负样本数。

Focal Loss

本质上，focal loss是针对样本难分类问题而设计的，focal loss的具体形式为：

将二分类拓展到多分类任务，我们令$p_t$为样本真实类别上对应的预测概率，由于目前只有两类，并且前面规定类别1对应概率$\hat{p}$，所以我们写成：

则focal loss表示为：$$L_{fl}=-(1-p_t{)}^{\gamma }log(p_t)$$同理可将CE表示为：$$L_{ce}=-log(p_t)$$在focal loss中，$\gamma >0$为可调节因子，对于分类准确的样本，$p_t$接近1，则$(1-p_t{)}^{\gamma }$接近0，对于分类不准确的样本，$p_t$接近0，则$(1-p_t{)}^{\gamma }$接近1。

即相比交叉熵损失，focal loss对于分类不准确的样本，损失没有改变，对于分类准确的样本，损失会变小。 整体而言，相当于增加了分类不准确样本在损失函数中的权重。换言之，focal loss有助于提高难分类样本的分类性能。

样本不平衡问题是样本难分类问题的一个体现，balanced cross entropy是一种hard的方式，而Focal loss是随训练过程动态决定样本分类难易程度的方式。