医学图像分割常用Loss

分割loss

1. CE Loss（交叉熵损失函数）

1. 二分类

在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为p和1-p，此时表达式为（log的底数是 e：
$$L=\frac{1}{N}\sum _i{L}_i=\frac{1}{N}\sum _i-\left[y_i\cdot \log \left(p_i\right)+\left(1-y_i\right)\cdot \log \left(1-p_i\right)\right]$$
其中

• $y_i$——表示样本 $i$ 的label，正类为1，负类为0
• $p_i$——表示样本 $i$ 预测为正类的概率

2. 多分类

多分类的情况实际上就是对二类的拓展：
$$L=\frac{1}{N}\sum _i{L}_i=-\frac{1}{N}\sum _i\sum _{c=1}^M{y}_{ic}\log \left(p_{ic}\right)$$
其中

• $M$——类别的数量
• $y_{ic}$——符号函数（0或者1），如果样本 $i$ 的真实类别等于$c$ 取 1，否则取 0
• $p_{ic}$——观测样本 $i$ 属于类别 $c$ 的预测概率

2. WCE Loss （权重交叉熵损失函数）

为了平衡分割（分类）问题中的正负样本不平衡的问题，提出了WCE，其公式如下:
$$WCE=-\frac{1}{N}\sum _{i=1}^N\alpha y_i\log p_i+\left(1-y_i\right)\log \left(1-p_i\right)$$
其中

• $\alpha$——每个类别的权重, 一般根据目标像素所占比例的倒数来确定：
• $y_i$——表示样本 $i$ 的label，正类为1，负类为0
• $p_i$——表示样本 $i$ 预测为正类的概率

3. Focal Loss

Focal Loss的引入主要是为了解决**难易样本数量不平衡（注意，有区别于正负样本数量不平衡）**的问题，根据正、负、难、易一共可以分为以下4类：正难、正易、负难、负易。
$$L=-\frac{1}{N}\sum _{i=1}^N\alpha y_i{\left(1-p_i\right)}^{\gamma }\log \left(p_i\right)+(1-\alpha )\left(1-y_i\right){\left(p_i\right)}^{\gamma }\log \left(1-p_i\right)$$
其中

• $\alpha$——每个类别的权重, 一般根据目标像素所占比例的倒数来确定，尽管平衡了正负样本，但对难易样本的不平衡没有任何帮助；
• $y_i$——表示样本 $i$ 的label，正类为1，负类为0；
• $p_i$——表示样本 $i$ 预测为正类的概率；
• $\gamma$ ——修正因子，调节难学样本的loss，可以降低分类正确的样本对熵的贡献，增加分类矛盾甚至分类错的结果对熵的贡献。同样的负样本的也按此类推。平衡难易样本。

4. Dice Loss

两个轮廓区域的相似程度，弥补交叉熵损失函数在分割任务中样本不均衡的问题
$$\text{ DiceLoss }=1-\frac{2|X\bigcap Y|}{|X|+|Y|}$$
其中

• $|X|$——ground truth
• $|Y|$——predict_mask

5. GeneralizedDiceLoss

与原始的dice loss 相比,GDL 对多分类问题进行了扩展,可以同时优化多个类别的分割效果，对类别不均衡鲁棒性更好，公式如下：
$$\mathrm{GDL}=1-2\frac{{\sum }_{l=1}^2{w}_l{\sum }_n{r}_{ln}{p}_{ln}}{{\sum }_{l=1}^2{w}_l{\sum }_n{r}_{ln}+p_{ln}}$$

其中

• $w_l$——为不同的类别提供不变性，每个类别之间的贡献将通过其体积的倒数进行校正。
• $r_{ln}$ ——ground truth
• $p_{ln}$——predict_mask

6. GeneralizedWassersteinDiceLoss

是 Generalized Dice Loss (GDL) 的拓展,是一种更加稳定和高效的医学图像分割损失函数。Dice Loss和GeneralizedDice Loss对类不平衡问题更具鲁棒性。然而存在其他两个问题：至少有两个可用信息没有在这个公式中充分的被利用！

（1）标签空间的结构

（2）跨尺度的空间信息

GeneralizedWassersteinDiceLoss引入了Wasserstein距离：**利用Wasserstein距离，它可以自然地嵌入类之间的语义关系，用于比较标签概率向量，以推广多类分割的Dice得分。实现更具语义意义的分割。**公式如下:

7. Tversky Loss

Tversky loss 是一种用于图像分割任务的损失函数,它是在 Dice loss 的基础上进行改进设计的。公式如下：
$$T(\alpha ,\beta )=\frac{{\sum }_{i=1}^N{p}_{0i}{g}_{0i}}{{\sum }_{i=1}^N{p}_{0i}{g}_{0i}+\alpha {\sum }_{i=1}^N{p}_{0i}{g}_{1i}+\beta {\sum }_{i=1}^N{p}_{1i}{g}_{0i}}$$
其中

• $\alpha$——假阳的权重，在 $\alpha +\beta =1$的情况下， $\alpha$ 越大，产生结果中假阳越小
• $\beta$——假阴的权重，在 $\alpha +\beta =1$的情况下，$\beta$ 越大，产生结果中假阴越小

8. DiceCe Loss

$$L=\alpha Dice+\beta WCE$$

其中

• $\alpha$——Dice Loss的权重
• $\beta$——WCE Loss的权重

9. DiceFocal Loss

$$L=\alpha Dice+\beta Focal$$
其中

• $\alpha$——Dice Loss的权重
• $\beta$——Focal Loss的权重

10. GeneralizedDiceFocalLoss

$$L=\alpha GDL+\beta Focal$$

其中

• $\alpha$——GeneralizedDiceLoss的权重
• $\beta$——Focal Loss的权重

11. MSE Loss

MSE(Mean Squared Error) 即均方误差,是回归任务中常用的一个损失函数。公式如下：
$$MSE=\frac{1}{n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$$
其中

• $n$ ——样本数量

• $y_i$—— 样本i的真实目标值

• $\widehat{y_i}$—— 样本i的预测值

参考文献

飞鱼Talk——损失函数｜交叉熵损失函数

AdamLau——医学影像处理常用loss笔记

中国移不动——5分钟理解Focal Loss

dilligencer——Tversky loss