语义分割常用metric

1. Pixel acc：比较预测label和实际label像素间误差。对于位置的偏移十分敏感，小的偏移都会产生大量的像素误差。
2. IOU: 交并比，DetectionResult与Ground Truth的交集比上它们的并集。只是从单个像素点本身去考虑该点的预测是否与label重合，而没有从全局去考虑预测的整体形状是否与label结果形状吻合。

混淆矩阵（Confusion Matrix）

• 分别统计分类模型中归错，归对类的观测值的个数，然后把结果放在一个表里展示出来。
• 矩阵对角线上的数字，为当前类别预测正确的类别数目；非对角线数字，预测都是错误的！
• 矩阵每一行数字求和的值，其含义：真实值中，真实情况下属于该行对应类别的数目！
• 矩阵每一列数字求和的值，其含义：预测值中，预测为该列对应类别的数目！
• PA：Accuracy = (TP + TN) / (TP + TN + FP + FN)
• CPA：Precision = TP / (TP + FP) 或 TN / (TN + FN)
• Recall = TP / (TP + FN) 或 TN / (TN + FP)

语义分割评价指标

• PA：像素准确率，预测类别正确的像素数占总像素数的比例
• CPA：类别像素准确率，模型对类别 i 的预测值有很多，其中有对有错，预测对的值占预测总值的比例
• MPA：类别平均像素准确率，分别计算每个类被正确分类像素数的比例CPA，然后累加求平均
• IoU：交并比，模型对某一类别预测结果和真实值的交集与并集的比值
• MIoU：平均交并比，模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果

A代表真实值(ground truth)，B代表预测样本（prediction），预测值和真实值的关系如下：

• TP（True Positive）：
  橙色，TP = A ∩ B
  预测正确，真正例，模型预测为正例，实际是正例（模型预测为类别1，实际是类别1）
• FP（False Positive）：
  黄色，FP = B - (A ∩ B)
  预测错误，假正例，模型预测为正例，实际是反例 （模型预测为类别1，实际是类别2）
• FN（False Negative）：
  红色，FN = A - (A ∩ B)
  预测错误，假反例，模型预测为反例，实际是正例 （模型预测为类别2，实际是类别1）
• TN（True Negative）：
  白色，TN = ~(A ∪ B)
  预测正确，真反例，模型预测为反例，实际是反例 （模型预测为类别2，实际是类别2）

$Io{U}_{正例p}$ = TP / (TP + FN + FP)
MIoU = ($Io{U}_{正例p}$ + $Io{U}_{反例n}$) / 2 = [ TP / (TP + FP + FN) + TN / (TN + FN + FP) ] / 2

"""
常用的为acc和miou
"""
def acc(y_true, y_pred, num_class):
    mask = (y_true >= 0) & (y_true < num_class)
    matrix = np.bincount(num_class * y_true[mask] + y_pred[mask], num_class**2).reshape(num_class, num_class)
    acc_ = np.diag(matrix).sum() / matrix.sum()
    return acc_


def class_acc(y_true, y_pred, num_class):
    mask = (y_true >= 0) & (y_true < num_class)
    matrix = np.bincount(num_class * y_true[mask] + y_pred[mask], num_class**2).reshape(num_class, num_class)
    classAcc = np.diag(matrix) / matrix.sum(axis=1)
    return np.nanmean(classAcc)


def mIoU(y_true, y_pred, num_class):
    mask = (y_true >= 0) & (y_true < num_class)
    matrix = np.bincount(num_class * y_true[mask] + y_pred[mask], num_class**2).reshape(num_class, num_class)
    intersection = np.diag(matrix)
    union = np.sum(matrix, axis=1) + np.sum(matrix, axis=0) - np.diag(matrix)
    IoU = intersection / union
    m_IoU = np.nanmean(IoU)
    return m_IoU