IDET 变换检测， 自制数据集问题，以及loss不收敛问题

自制数据集按照CMU格式制作，首先通过labelme画出变换区域。然后通过代码转换成mask掩码。

一、创建虚拟环境安装labelme

首先新建虚拟环境。

conda create -n labelme python=3.8

conda activate labelme

pip install pyqt5

pip install labelme

这样我们的虚拟环境以及labelme就安装完成了

安装完成之后，先测试一下labelme是否可以成功运行

在我们的虚拟环境中直接输入labelme即可弹出labelme程序界面

二、标注数据

这个就不多说了，按照变化区域慢慢标注就可以了。标注完成后会生成对应的xml文件。

三、转换成mask掩码

多张图片批量转换

直接找到安装的labelme路径位置，一般是在虚拟环境中的\lib\site-packages\labelme\cli这个文件夹中找到json_to_dataset.py

直接复制这个代码覆盖原代码

'''
修改后的json_to_dataset文件，直接复制替换你自己原始的json_to_dataset
'''
import argparse
import base64
import json
import os
import os.path as osp
 
import imgviz
import PIL.Image
 
from labelme.logger import logger
from labelme import utils
 
 
def main():
    logger.warning(
        "This script is aimed to demonstrate how to convert the "
        "JSON file to a single image dataset."
    )
    logger.warning(
        "It won't handle multiple JSON files to generate a "
        "real-use dataset."
    )
 
    parser = argparse.ArgumentParser()
    parser.add_argument("json_file")
    parser.add_argument("-o", "--out", default=None)
    args = parser.parse_args()
 
    json_file = args.json_file
    print(osp.dirname(json_file))
 
    if osp.isdir(osp.join(osp.dirname(json_file),'json_data')) is False:
        os.mkdir(osp.join(osp.dirname(json_file),'json_data'))
    else:
        print("文件已存在")
    if args.out is None:
        out_dir = osp.basename(json_file).replace(".", "_")
        out_dir1 = osp.join(osp.dirname(json_file), 'json_data')
        out_dir = osp.join(out_dir1, out_dir)
        print(out_dir)
        print("#"*10)
    else:
        out_dir = args.out
    if not osp.exists(out_dir):
        os.mkdir(out_dir)
 
    data = json.load(open(json_file))
    imageData = data.get("imageData")
 
    if not imageData:
        imagePath = os.path.join(os.path.dirname(json_file), data["imagePath"])
        with open(imagePath, "rb") as f:
            imageData = f.read()
            imageData = base64.b64encode(imageData).decode("utf-8")
    img = utils.img_b64_to_arr(imageData)
 
    label_name_to_value = {"_background_": 0}
    for shape in sorted(data["shapes"], key=lambda x: x["label"]):
        label_name = shape["label"]
        if label_name in label_name_to_value:
            label_value = label_name_to_value[label_name]
        else:
            label_value = len(label_name_to_value)
            label_name_to_value[label_name] = label_value
    lbl, _ = utils.shapes_to_label(
        img.shape, data["shapes"], label_name_to_value
    )
 
    label_names = [None] * (max(label_name_to_value.values()) + 1)
    for name, value in label_name_to_value.items():
        label_names[value] = name
 
    lbl_viz = imgviz.label2rgb(
        lbl, imgviz.asgray(img), label_names=label_names, loc="rb"
    )
 
    PIL.Image.fromarray(img).save(osp.join(out_dir, "img.png"))
    utils.lblsave(osp.join(out_dir, "label.png"), lbl)
    PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, "label_viz.png"))
 
    with open(osp.join(out_dir, "label_names.txt"), "w") as f:
        for lbl_name in label_names:
            f.write(lbl_name + "\n")
 
    logger.info("Saved to: {}".format(out_dir))
 
 
if __name__ == "__main__":
    main()

   第一步         pre_treatment()    #预处理，创建存储所需的相应文件夹
   第二步         json_png()         #调用labelme的json转换png程序
   第三步         extract_png()      #从转换的数据中提取png图像
   第四步         png_to_binary()    #将png转换为8位的单通道黑白图像，用于分割训练

新建一个python脚本，改路径即可

'''
将label中标注的json文件，转化为可用于分割训练的标签二值化黑白png图片
'''
import os
import cv2
import numpy as np
import shutil
import glob
 
# def json_png():  第一次转换用到
path_json = r'E:\pic3\json'  # 这里是指.json文件所在文件夹的路径
                             # 批量转换，修改此路径
                             # 此路径为，json文件所在路径
# def extract_png():  第二次转换用到
path_json_to_data = os.path.join(path_json,"json_data")  # json文件夹所在位置
path_save_png = os.path.join(path_json,"json_png")  # 将标签图从json文件中批量取出后指定保存的文件目录
path_save_png_binary = os.path.join(path_json,"json_png_binary")       #二至图像最终保存的路径
def pre_treatment():
    '''
    创建三个文件夹用于存储
    json_data用于存储json转换img.png     label.png    label_names.txt   label_viz.png的文件夹
    json_png用于存储从json_data提取出来的label。png（最终存储名字与json文件对应）
    json_png_binary 用于存储最终转换后的8位的单通道黑白图像
    :return:
    '''
    if os.path.isdir(os.path.join(path_json,"json_data")) is False:
        os.mkdir(os.path.join(path_json,"json_data"))
    else:
        print('文件已存在')
    if os.path.isdir(os.path.join(path_json,"json_png")) is False:
        os.mkdir(os.path.join(path_json,"json_png"))
    else:
        print('文件已存在')
    if os.path.isdir(os.path.join(path_json,"json_png_binary")) is False:
        os.mkdir(os.path.join(path_json,"json_png_binary"))
    else:
        print('文件已存在')
 
def json_png():
    '''
    批量将json转换为img.png     label.png    label_names.txt   label_viz.png
    并存储至当前文件夹下的json_date文件夹中
    :return: 无
    '''
    json_file = glob.glob(os.path.join(path_json, "*.json"))
    os.system("activate labelme")     #激活labelme环境（根据自己设置的修改）
    for file in json_file:
        os.system("labelme_json_to_dataset.exe %s" % (file))  #调用labelme，自带的程序进行批量转换
                                                              #labelme中\.conda\envs\labelme\Lib\site-packages\labelme\cli中的json_to_dataset.py被修改过
                                                            # 具体修改见json_to_dataset.py
def extract_png():
    '''
    将标签图从json文件中批量取出
    :return:
    '''
    for eachfile in os.listdir(path_json_to_data):
        path1 = os.path.join(path_json_to_data, eachfile)  # 获取单个json文件夹的目录
        if os.path.isdir(path1):                           #判断path1路径是否存在
            if os.path.exists(path1 + '/label.png'):       #判断path1路径下label.png是否存在
                path1 = os.path.join(path1, 'label.png')  # 获取PNG所在的路径，准备等待复制
                path2 = os.path.join(path_save_png, (eachfile.split('_')[0] + '.png'))  # 将png复制到path2路径下的文件夹中去
                shutil.copy(path1, path2)                 #将path1文件复制到path2
                print(eachfile + ' successfully moved')
 
def png_to_binary():
    '''
    由于数据集是做二分类分割，所以，需要将ground_truth转换为8位的单通道黑白图像，才能作为训练时的label使用。
    将提取出来的png转换为8位的单通道黑白图像
    '''
    for im in os.listdir(path_save_png):
        img = cv2.imread(os.path.join(path_save_png, im))
        b, g, r = cv2.split(img)
        r[np.where(r != 0)] = 255
        cv2.imwrite(os.path.join(path_save_png_binary, im), r)
 
def process():
    pre_treatment()    #预处理，创建存储所需的相应文件夹
    json_png()         #调用labelme的json转换png程序
    extract_png()      #从转换的数据中提取png图像
    png_to_binary()    #将png转换为8位的单通道黑白图像，用于分割训练
 
 
if __name__ == "__main__":
    process()

转换完之后最后一步是需要将单通道（0，255）的图转换成（0，1）的图

代码如下

from PIL import Image
import numpy as np
import os

if __name__ == '__main__':
    work_dir = r"D:\Project\safehat\dataset\005\GT"  # 图像所处文件夹
    file_names = os.listdir(work_dir)
    for file_name in file_names:
        print(file_name) # ISIC_0000000_Segmentation.png
        file_path = os.path.join(work_dir, file_name)

        image = Image.open(file_path)
        img = np.array(image)
        img[img == 255] = 1

        # 重新保存
        image = Image.fromarray(img, 'L')
        new_name = file_name[:-4]
        new_name = new_name.strip("_Segmentation")  # 文件名处理成和图像一样的名字

        image.save(f'D:\Project\IDET-main\dataset\\005\GT\\{new_name}.png')

work_dir是图像所处文件夹， image.save是存储文件夹修改即可。

生成看似纯黑的图片实则不然，通过代码来显示图像真实的样子。

可以顺便验证一下，否则数据集容易搞错。

import matplotlib.pyplot as plt
from PIL import Image

if __name__ == '__main__':
    re = Image.open(r'D:\Project\IDET-main\dataset\003\GT\gt25.png')
    plt.imshow(re, cmap='gray')
    plt.show()

通过图片验证是否转换正确。

这就是idet变化检测的数据集制作过程，如果loss不收敛，我的方法是 调大学习率再试一次，可是网络跑出来的效果不是特别好，还需再研究一下为什么会这样。