IOU
IOU(Intersection over Union)是交并比,用于衡量语义分割任务中预测结果与真实标签之间的相似度。
I O U = ∣ X ∩ Y ∣ ∣ X ∪ Y ∣ IOU=\frac{|X\cap Y|}{|X\cup Y|} IOU=∣X∪Y∣∣X∩Y∣
IOU=某类别的交集区域 / 某类别的并集区域
对于图像分割的IOU评价来说,IOU公式可以写成:
I O U = T P T P + F N + F P IOU=\frac{TP}{TP+FN+FP} IOU=TP+FN+FPTP
IOU Loss
公式
I O U L o s s = − l n ( I O U ) IOU \ Loss=-ln(IOU) IOU Loss=−ln(IOU)
或者
I O U L o s s = 1 − I O U IOU \ Loss=1-IOU IOU Loss=1−IOU
当两者完全重合的时候IOU等于1,IOU Loss等于0。
代码
class IouLoss(nn.Module):
def __init__(self, reduction='mean'):
super(IouLoss, self).__init__()
self.reduction = reduction
def forward(self, inputs, targets, smooth=1):
# 该代码是二分类代码
"""
output : NxCxHxW Variable
target : NxHxW LongTensor
"""
# 如果inputs没有归一化可以先归一化
inputs = F.softmax(inputs,dim=1)
# 因为loss计算的是pred和targets的正负样本交集并集,所以pred中的预测值(0~1)需要转为0和1的标签值
# inputs从NxCxHxW装变为NxHxW,且里面不是预测值而是0和1标签值
inputs = torch.argmax(inputs, 1).squeeze(0)# 大于0.5概率变0或者1
# IOU公式计算
intersection = (inputs * targets).sum()
total = (inputs + targets).sum()
union = total - intersection
Iou_loss = 1- (intersection + smooth)/(union + smooth)# smooth防止分母为0
if self.reduction == 'mean':
return Iou_loss.mean()
elif self.reduction == 'sum':
return Iou_loss.sum()
else:
return Iou_loss
对比其它Loss
图像分割常见且之间博客文章写过的Loss有:交叉熵损失函数CE、带权重交叉熵损失函数WCE、Dice Loss以及Focal Loss。
之前文章详细介绍过这几个loss之间的关系,再简单复述一下。
在图像分割中,CE计算的是每个像素点预测值和lable值之间的差异,但是当类别极度不平衡的时候,由于对每种类别都平等对待差异,会让训练结果偏向类别数更多的;WCE是在CE基础上给不同类别计算Loss的时候,前面加入的了一个权重,让类别数量多的权重小,从而来解决类别不平衡问题;Focal Loss在CE的基础上除了加入类别权重,还加入了样本难易权重,来让训练结果不会偏向易分类样本。
而其中Dice其公式为:
D
i
c
e
(
X
,
Y
)
=
2
∗
∣
X
∩
Y
∣
∣
X
∣
+
∣
Y
∣
=
2
T
P
2
T
P
+
F
N
+
F
P
Dice(X,Y)=\frac{2*|X\cap Y|}{|X|+|Y|}=\frac{2TP}{2TP+FN+FP}
Dice(X,Y)=∣X∣+∣Y∣2∗∣X∩Y∣=2TP+FN+FP2TP
Dice Loss在计算
∣
X
∩
Y
∣
|X\cap Y|
∣X∩Y∣的时候,因为背景类别label为0,所以可以mask掉背景,而更关注于前景。从而在前景类别不平衡的时候,可以更关注类别数量少的前景。
从Dice和IOU公式上,可以看到很明显的相似性:
I
O
U
=
∣
X
∩
Y
∣
∣
X
∪
Y
∣
=
∣
X
∩
Y
∣
∣
X
∣
+
∣
Y
∣
−
∣
X
∩
Y
∣
=
T
P
T
P
+
F
N
+
F
P
IOU=\frac{|X\cap Y|}{|X\cup Y|}=\frac{|X\cap Y|}{|X|+|Y|-|X\cap Y|}=\frac{TP}{TP+FN+FP}
IOU=∣X∪Y∣∣X∩Y∣=∣X∣+∣Y∣−∣X∩Y∣∣X∩Y∣=TP+FN+FPTP
IOU计算TP比Dice要少一次,TP也就是 ∣ X ∩ Y ∣ |X\cap Y| ∣X∩Y∣,两者是比较相似的,其实差不多。
CE相当于是只考虑了每个像素作为独立样本,而Dice Loss和IOU Loss是以一种更整体的方式看待预测输出。但是Dice Loss和IOU Loss都会容易训练不稳定,因为其是通过mask背景从而关注前景,会存在前景分割很好但是背景分得不好,但是loss也很低的情况。Dice Loss和IOU Loss最好和CE等能够考虑到背景相似性的损失函数结合使用。