从零开始使用pytorch-deeplab-xception训练自己的数据集

从零开始使用pytorch-deeplab-xception训练自己的数据集

1. 使用Labelme进行数据标定，标定类别
   

2. 将原始图片与标注的JSON文件分隔开，使用fenge.py文件，修改source_folder路径（这个路径为原始图片和标注的.json的文件夹），得到JPEG、JSON文件夹

import os
import shutil

source_folder = 'F:/***/***' # 更改为你的文件夹路径

# 创建JPEG文件夹
jpeg_folder = os.path.join(source_folder, 'JPEG')
if not os.path.exists(jpeg_folder):
    os.mkdir(jpeg_folder)

# 创建JSON文件夹
json_folder = os.path.join(source_folder, 'JSON')
if not os.path.exists(json_folder):
    os.mkdir(json_folder)

# 遍历源文件夹
for filename in os.listdir(source_folder):
    if filename.endswith('.jpg'):
        # 将JPEG文件移动到JPEG文件夹
        shutil.move(os.path.join(source_folder, filename), os.path.join(jpeg_folder, filename))
    elif filename.endswith('.json'):
        # 将JSON文件移动到JSON文件夹
        shutil.move(os.path.join(source_folder, filename), os.path.join(json_folder, filename))

3. 三、 运行demo.py将JSON文件夹中的.json文件转化为掩码图，掩码图文件格式为.png。运行此文件时需修改json_file、out_jpg_path、out_mask_path三处的路径

import argparse
import base64
import json
import os
import os.path as osp

import imgviz
import PIL.Image

from labelme.logger import logger
from labelme import utils


def main():
    logger.warning(
        "This script is aimed to demonstrate how to convert the "
        "JSON file to a single image dataset."
    )
    logger.warning(
        "It won't handle multiple JSON files to generate a "
        "real-use dataset."
    )

    # json_file是标注完之后生成的json文件的目录。out_dir是输出目录，即数据处理完之后文件保存的路径
    json_file = r"F:\chedaoxian\new_datasets_pic_xml\JSON"

    out_jpgs_path = "F:/***/***/pic/JPEGImages"
    out_mask_path = "F:/***/***/pic/SegmentationClass"

    # 如果输出的路径不存在，则自动创建这个路径
    if not osp.exists(out_jpgs_path):
        os.mkdir(out_jpgs_path)

    if not osp.exists(out_mask_path):
        os.mkdir(out_mask_path)

    for file_name in os.listdir(json_file):
        # 遍历json_file里面所有的文件，并判断这个文件是不是以.json结尾
        if file_name.endswith(".json"):
            path = os.path.join(json_file, file_name)
            if os.path.isfile(path):
                data = json.load(open(path))

                # 获取json里面的图片数据，也就是二进制数据
                imageData = data.get("imageData")
                # 如果通过data.get获取到的数据为空，就重新读取图片数据
                if not imageData:
                    imagePath = os.path.join(json_file, data["imagePath"])
                    with open(imagePath, "rb") as f:
                        imageData = f.read()
                        imageData = base64.b64encode(imageData).decode("utf-8")
                #  将二进制数据转变成numpy格式的数据
                img = utils.img_b64_to_arr(imageData)

                # 将类别名称转换成数值，以便于计算
                label_name_to_value = {"_background_": 0}
                for shape in sorted(data["shapes"], key=lambda x: x["label"]):
                    label_name = shape["label"]
                    if label_name in label_name_to_value:
                        label_value = label_name_to_value[label_name]
                    else:
                        label_value = len(label_name_to_value)
                        label_name_to_value[label_name] = label_value
                lbl, _ = utils.shapes_to_label(img.shape, data["shapes"], label_name_to_value)

                label_names = [None] * (max(label_name_to_value.values()) + 1)
                for name, value in label_name_to_value.items():
                    label_names[value] = name

                lbl_viz = imgviz.label2rgb(
                    label=lbl, image=imgviz.asgray(img), label_names=label_names, loc="rb"
                )

                # 将输出结果保存，
                PIL.Image.fromarray(img).save(osp.join(out_jpgs_path, file_name.split(".")[0] + '.jpg'))
                utils.lblsave(osp.join(out_mask_path, "%s.png" % file_name.split(".")[0]), lbl)

    print("Done")


if __name__ == "__main__":
    main()

4. 下载pytorch-deeplab-xception-master压缩文件（文件链接https://github.com/jfzhang95/pytorch-deeplab-xception）。然后建立一个VOC文件夹，然后在VOC文件夹里建立三个文件夹命名分别为：ImageSets、JPEGImages、SegmentationClass。见图
   

5. 将步骤三中的out_jpg_path、out_mask_path路径下的文件分别copy到JPEGImages、SegmentationClass文件夹中，修改spilt.py中xmlfilepath与txtsavepath路径，划分数据集

import os
import random

#训练集所占比例
trainval_percent = 1.0
train_percent = 0.9

#标签文件路径
xmlfilepath = 'D:/***/VOC2007/JPEGImages'
#生成txt目录文件夹所在路径
txtsavepath = 'D:/***/VOC2007/ImageSets/Segmentation'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open(txtsavepath + '/trainval.txt', 'w')
ftest = open(txtsavepath + '/test.txt', 'w')
ftrain = open(txtsavepath + '/train.txt', 'w')
fval = open(txtsavepath + '/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

5. 上述步骤已完成数据准备工作，训练参考大神，链接如下（https://blog.csdn.net/weixin_41861700/article/details/123923433）
6. 训练结果展示