语义分割动手实践-bisenetv2模型训练

语义分割动手实践 - bisenetv2、deeplabv3+语义分割模型训练

接上文https://blog.csdn.net/Hu_helloworld/article/details/118610897?spm=1001.2014.3001.5501

我们已经可以通过labelme工具标注语义分割数据，然后根据labelme提供的labelme_json_to_dataset脚本，将所有json文件批量生成如下的训练数据：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tXa5wUXr-1635840679764)(https://raw.githubusercontent.com/RoboCuper-hujinlei/markdown-images/main/20210709171227801.png)]

然后我们通过方法

1、moveSrcMasksImage()分别将原图(img.png)和掩膜图像(label.png)移动整理到JPEGImages和SegmentationClass文件夹。

2、通过couple_img_masks()方法制作、划分数据集。

deeplabv3+训练

这样划分出的数据集是一个原图img.png对应一个根据类别颜色分割的掩膜图像label.png。

采用VOC格式的数据集，img.png 和 label.png分别放入JPEGImages和SegmentationClass文件夹中，划分数据集将文件名写入train.txt和val.txt。训练时可选择resnet、mobilenet等多个backbone

用这样的数据集训练deeplab系列模型没问题。具体使用参见官方repo：https://github.com/jfzhang95/pytorch-deeplab-xception

bisenetv2训练

但这些数据在bisenetv2训练时出现“RuntimeError: copy_if failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was encountered”的报错，原因是bisenetv2要求输入的标签是单通道的灰度图。而我们的mask图像仍然是RGB图

我们知道RGB图像可以用颜色区分类别，而灰度图每个像素只有0-255的灰度值，如何用单通道的灰度图表示多种类别呢？

解决思路巧妙的将每个类别的rgb颜色值用单通道的0，1…255灰度值置换。

其中我们用labelme脚本labelme_json_to_dataset生成的__json文件夹中：

• img.png 对应的局部的jpg原图文件，训练时要用
• label.png 局部语义类别标签
• label_names.txt 在这张图像上目标的分类名称
• label_viz.png 可视化标签图，便于我们确认是否标记正确

我们得到RGB的label.png(局部语义类别标签)后，还需要进行灰度类别转换成单通道的标签图像：
灰度类别转换后，属于背景区域的像素点的值全是0，属于标记目标的像素点按照所有类别名的顺序1，2…255排列。如属于cat的像素点值全是1。若再加一个dog像素点值就全是2

灰度类别转换 （局部类别标签RGB—>全局类别标签GRAY）

'''
TODO:
提取__json目录下的原图、并将label.png转换为最终的单通道标签。
param:
    __jsondir: labelme生成的__json文件夹目录
    class_txt:  所有像素的类别(包括背景0)
    image_path: 提取的原图路径
    label_path: 提取并转换的单通道全局标签路径
    
输出转换的标签数量、原图和标签的路径
Note:
	__json文件夹已全部生成，并将img.png，label.png提取整理到不同路径
'''


def label2singlechannel(__jsondir, class_txt='class_name.txt', image_path=None, label_path=None):
    class_txt = open(class_txt, "r", encoding='utf-8')
    class_names = class_txt.read().splitlines()     # 全局类别

    if image_path==None and label_path==None:
        image_path = os.path.join(__jsondir.rsplit('/', 2)[0], 'JPEGImages')
        label_path = os.path.join(__jsondir.rsplit('/', 2)[0], 'SegmentationClass')

    if not os.path.exists(image_path):
        os.mkdir(image_path)
    if not os.path.exists(label_path):
        os.mkdir(label_path)

    for json_dir in os.listdir(__jsondir):
        src_path = os.path.join(__jsondir, json_dir, 'img.png')
        file_path = os.path.join(__jsondir, json_dir, 'label.png')

        if not os.path.exists(src_path) or not os.path.exists(file_path):   # 文件夹为空 img不存在
            continue
        label_names = os.path.join(__jsondir, json_dir, 'label_names.txt')
        src = Image.open(src_path)
        src.save(os.path.join(image_path, json_dir+'.png'))

        img = Image.open(file_path)
        with open(label_names, "r") as f:
            names = f.read().splitlines()       # x_json文件里面存在的类 局部的类
        new = Image.new("RGB", [np.shape(img)[1], np.shape(img)[0]])
        # 找到局部的类在全局中的类的序号
        for name in names:
            index_json = names.index(name)      # 局部类
            index_all = class_names.index(name)      # 全局类别
            # 将局部类转换成为全局类
            # 将原图img中像素点的值为index_json的像素点乘以其在全局中的像素点的所对应的类的序号 得到 其实际在数据集中像素点的值

            # 比如dog,在局部类（output/x_json/label_names）中它的序号为1,dog在原图中的像素点的值也为1.
            # 但是在全局的类（before/classes.txt）中其对应的序号为2，所以在新的图片中要将局部类的像素点的值*全局类的序号，从而得到标签文件
            new = new + np.expand_dims(index_all * (np.array(img) == index_json), -1)
        
        new = Image.fromarray(np.uint8(new))    
        # 将转变后的得到的新的最终的标签图片保存到make_dataset/png文件夹下
        new.save(os.path.join(label_path, json_dir + '.png'))
        print(f"save: - {os.path.join(label_path, json_dir + '.png')}")
        # 找到新的标签文件中像素点值的最大值和最小值，最大值为像素点对应的类在class_name.txt中的序号，最小值为背景，即0
        print(np.max(new), np.min(new))
    print(f"\nJPEGImages: {image_path}\nSegmentationClass: {label_path}") 

由于像素点灰度值0 1 2亮度值很小，最终生成参与训练的全局标签文件是这种全黑的。

用原图 + 单通道的标签图像即可训练BiseNetv2模型。

具体BiseNetv2的训练方式可参考官方repo:https://github.com/CoinCheung/BiSeNet或其他教程

件是这种全黑的。

用原图 + 单通道的标签图像即可训练BiseNetv2模型。

具体BiseNetv2的训练方式可参考官方repo:https://github.com/CoinCheung/BiSeNet或其他教程