深度学习(mIoU)

学习目标：mIoU(均交并比)

---

交并比：Intersection over Union

公式：$S_{A\cup B}=S_A+S_B-S_{A\cap B}$

例如：语义分割中的IoU
语义分割问题中的两个集合为：真实值（ground truth) 和预测值（prediction segmentation),该比例可以变形为真正数（Intersection）比上真正（TP）

---

MIoU的计算：

• （真正）TP: 预测正确（真），预测结果为正样本，实际也为负样本
• （假正）FP: 预测错误（假），预测结果为正样本，实际为负样本
• （假负）FN: 预测错误（假），预测结果为负样本，实际为正样本
• （真负）TN: 预测正确（假），预测结果为负样本，实际也为负样本

以pascal数据集为例
（其中包含21个类别，分别对每个类别求IoU）
令$k$表示类别，$(k+1)$表示加上了背景类,$i$表示真实类别，$j$表示预测类别
那么有

1. $p_{(i,j)}$表示将$i$类别预测为$j$类别，为假负（FN）
2. $p_{(i,i)}$表示将$i$类别预测为$i$类别，为真正（TP）
3. $p_{(j,i)}$表示将$j$类别预测为$i$类别，为假正（TP）
   
   从韦恩图可以看出，两个计算公式是等价的,理想情况就是所有预测值都是与真实值相符，也就是两个圆重合，比例为1
   所以mIoU的公式可以用下列式子表示
   $$mIoU=\frac{1}{k+1}\cdot \sum _{i=0}^k(\frac{p_{(i,i)}}{{\sum }_{j=0}^k{p}_{(i,j)}+{\sum }_{j=0}^k{p}_{(j,i)}-p_{(i,i)}})$$
   比如说我们有三个类别：1， 2， 3
   那么加上背景类别0之后，预测类别为1的IoU就是
   $$IoU(prediction\to 1)=\frac{p_{(1,1)}}{{\sum }_{j=0}^3{p}_{(1,j)}+{\sum }_{j=0}^k{p}_{(j,1)}-p_{(1,1)}}$$

---

mIoU计算实例：

混淆矩阵：表示预测值和真实值之间的差距的矩阵，形式如下
$$\left(\begin{array}{cc}\text{TP}& \text{FN}\\ \text{FP}& TN\end{array}\right)$$
可见：

1. 混淆矩阵的每一行之和=实际为该类的所有样本之和
2. 混淆矩阵的每一列之和=预测为该类的所有样本之和

那么混淆矩阵的每一行（FN+TP）再加上每一列（FP+TP），最后减去对角线上（TP）的值：