MIoU的代码实现

import numpy as np
import argparse
import json
from PIL import Image
from os.path import join

# 设标签宽W，长H
def fast_hist(a, b, n):
    # a是转化成一维数组的标签，形状(H×W,)；b是转化成一维数组的标签，形状(H×W,)；n是类别数目，实数（在这里为19）
    '''
	核心代码
	'''
    k = (a >= 0) & (a < n)  # k是一个一维bool数组，形状(H×W,)；目的是找出标签中需要计算的类别（去掉了背景）
    return np.bincount(n * a[k].astype(int) + b[k], minlength=n ** 2).reshape(n,
                                                                              n)  # np.bincount计算了从0到n**2-1这n**2个数中每个数出现的次数，返回值形状(n, n)


def per_class_iu(hist):  # 分别为每个类别（在这里是19类）计算mIoU，hist的形状(n, n)
    '''
	核心代码
	'''
    return np.diag(hist) / (hist.sum(1) + hist.sum(0) - np.diag(
        hist))  # 矩阵的对角线上的值组成的一维数组/矩阵的所有元素之和，返回值形状(n,)


def label_mapping(input,mapping):  # 主要是因为CityScapes标签里面原类别太多，这样做把其他类别转换成算法需要的类别（共19类）和背景（标注为255）
    output = np.copy(input)  # 先复制一下输入图像
    for ind in range(len(mapping)):
        output[input == mapping[ind][0]] = mapping[ind][1]  # 进行类别映射，最终得到的标签里面之后0-18这19个数加255（背景）
    return np.array(output, dtype=np.int64)  # 返回映射的标签


'''
compute_mIoU函数是以CityScapes图像分割验证集为例来计算mIoU值的
由于作者个人贡献的原因，本函数除了最主要的计算mIoU的代码之外，还完成了一些其他操作，
比如进行数据读取，因为原文是做图像分割迁移方面的工作，因此还进行了标签映射的相关工作，在这里笔者都进行注释。
大家在使用的时候，可以忽略原作者的数据读取过程，只需要注意计算mIoU的时候每张图片分割结果与标签要配对。
主要留意mIoU指标的计算核心代码即可。
'''


def compute_mIoU(gt_dir, pred_dir, devkit_dir=''):  # 计算mIoU的函数
    """
    Compute IoU given the predicted colorized images and
    """
    with open(join(devkit_dir, 'info.json'),'r') as fp:  # 读取info.json，里面记录了类别数目，类别名称，标签映射方式等等。
        info = json.load(fp)
    num_classes = np.int(info['classes'])  # 读取类别数目，这里是19类，详见博客中附加的info.json文件
    print('Num classes', num_classes)  # 打印一下类别数目
    name_classes = np.array(info['label'],
                            dtype=np.str)  # 读取类别名称，详见博客中附加的info.json文件
    mapping = np.array(info['label2train'],
                       dtype=np.int)  # 读取标签映射方式，详见博客中附加的info.json文件
    ## 1
    hist = np.zeros((num_classes, num_classes))  # hist初始化为全零，在这里的hist的形状是[19, 19]

    image_path_list = join(devkit_dir, 'val.txt')  # 在这里打开记录验证集图片名称的txt
    label_path_list = join(devkit_dir, 'label.txt')  # 在这里打开记录验证集标签名称的txt
    gt_imgs = open(label_path_list, 'r').read().splitlines()  # 获得验证集标签名称列表
    gt_imgs = [join(gt_dir, x) for x in gt_imgs]  # 获得验证集标签路径列表，方便直接读取
    pred_imgs = open(image_path_list,
                     'r').read().splitlines()  # 获得验证集图像分割结果名称列表
    pred_imgs = [join(pred_dir, x.split('/')[-1]) for x in
                 pred_imgs]  # 获得验证集图像分割结果路径列表，方便直接读取

    for ind in range(len(gt_imgs)):  # 读取每一个（图片-标签）对
        ## 2 pred
        pred = np.array(Image.open(pred_imgs[ind]))  # 读取一张图像分割结果，转化成numpy数组
        ## 3 g_t
        label = np.array(Image.open(gt_imgs[ind]))  # 读取一张对应的标签，转化成numpy数组
        label = label_mapping(label, mapping)  # 进行标签映射（因为没有用到全部类别，因此舍弃某些类别），可忽略
        if len(label.flatten()) != len(pred.flatten()):  # 如果图像分割结果与标签的大小不一样，这张图片就不计算
            print(
                'Skipping: len(gt) = {:d}, len(pred) = {:d}, {:s}, {:s}'.format(
                    len(label.flatten()), len(pred.flatten()), gt_imgs[ind],
                    pred_imgs[ind]))
            continue
        ## 4 计算
        hist += fast_hist(label.flatten(), pred.flatten(),num_classes)  # 对一张图片计算19×19的hist矩阵，并累加
        if ind > 0 and ind % 10 == 0:  # 每计算10张就输出一下目前已计算的图片中所有类别平均的mIoU值
            print('{:d} / {:d}: {:0.2f}'.format(ind, len(gt_imgs),
                                                100 * np.mean(
                                                    per_class_iu(hist))))
    ## 5预测
    mIoUs = per_class_iu(hist)  # 计算所有验证集图片的逐类别mIoU值
    for ind_class in range(num_classes):  # 逐类别输出一下mIoU值
        print('===>' + name_classes[ind_class] + ':\t' + str(round(mIoUs[ind_class] * 100, 2)))
    print('===> mIoU: ' + str(
        round(np.nanmean(mIoUs) * 100, 2)))  # 在所有验证集图像上求所有类别平均的mIoU值，计算时忽略NaN值
    return mIoUs


def main(args):
    compute_mIoU(args.gt_dir, args.pred_dir, args.devkit_dir)  # 执行计算mIoU的函数


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument('gt_dir', type=str,
                        help='directory which stores CityScapes val gt images')  # 设置gt_dir参数，存放验证集分割标签的文件夹
    parser.add_argument('pred_dir', type=str,
                        help='directory which stores CityScapes val pred images')  # 设置pred_dir参数，存放验证集分割结果的文件夹
    parser.add_argument('--devkit_dir', default='dataset/cityscapes_list',
                        help='base directory of cityscapes')  # 设置devikit_dir文件夹，里面有记录图片与标签名称及其他信息的txt文件
    args = parser.parse_args()
    main(args)  # 执行主函数


"""
核心代码
def fast_hist(a, b, n):
    k = (a >= 0) & (a < n)
    return np.bincount(n * a[k].astype(int) + b[k], minlength=n ** 2).reshape(n,n)


def per_class_iu(hist):
    return np.diag(hist) / (hist.sum(1) + hist.sum(0) - np.diag(hist))


def compute_per_iou(pred, label, cls_nums, hist):
    hist += fast_hist(label.flatten(), pred.flatten(), cls_nums)
    mIoUs = per_class_iu(hist)
    mIoU = np.nanmean(mIoUs)
    return mIoUs, mIoU

"""