Diceloss

Dice loss

$$\begin{gathered} {\mathbf{L}}_{dice}=1-\frac{2\mathbf{I}}{\mathbf{U}} \\ where\mathbf{I}=\sum _{i=1}^N{y}_i{p}_i\mathbf{U}=\sum _{i=1}^N{y}_i+p_i \end{gathered}$$
$y$是真实分布，$p$是预测分布。
假设只有一个像素点，则
$$\frac{\partial {\mathbf{L}}_{dice}}{\partial p}=\frac{\partial (1-\frac{2yp}{y+p})}{\partial p}=-\frac{2y^2}{(y+p{)}^2}$$
$$=\{\begin{array}{rlr}& 0,& y=0\\ & -\frac{2}{(1+p{)}^2},& y=1\end{array}$$
可见diceloss更多关注前景区域，但是背景区域梯度也不一定为0，因为对于多像素点的diceloss
$$\frac{\partial {\mathbf{L}}_{dice}}{\partial p}=\frac{\partial (1-\frac{2\mathbf{I}}{\mathbf{U}})}{\partial p}=-2\frac{\frac{\partial \mathbf{I}}{p}\mathbf{U}-\frac{\partial \mathbf{U}}{p}\mathbf{I}}{{\mathbf{U}}^2}$$
$$=\{\begin{array}{rlr}& 2\frac{\mathbf{I}}{{\mathbf{U}}^2},& y=0\\ & 2\frac{\mathbf{I}-\mathbf{U}}{{\mathbf{U}}^2},& y=1\end{array}$$
可见diceloss对于某个像素点的梯度不但考虑到了当前像素点，还考虑了其他像素点。刚起步时，每个预测点都为0.5，则
$$\begin{array}{rl}& \mathbf{U}=N+0.5N=1.5N\\ & \mathbf{I}\le 0.5N\\ & |\mathbf{I}-\mathbf{U}|\ge N\end{array}$$
显然前景梯度大于背景梯度。
缺点：
1.训练震荡
假设前景只有一个像素点，则该点预测正确loss=0，预测错误loss =1。
2.极端情况梯度消失
对于$p=\sigma (x)$，无法解决$\frac{\partial p}{\partial x}=\sigma (x)(1-\sigma (x))$产生的极端情况($\sigma(x) \rightarrow 0\ or\ $\sigma (x)\to 1$)产生的梯度消失现象，而celoss可以解决这一点。