自建数据集系列：从二值mask-＞labelme格式-＞coco格式

最新推荐文章于 2024-05-28 09:57:19 发布
最新推荐文章于 2024-05-28 09:57:19 发布
阅读量7k 收藏 78
点赞数 16
分类专栏： # 自建AI数据集 文章标签： mask转labelme labelme转coco 数据切分 labelme图片编码添加
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40265247/article/details/121407373
版权

文章目录

前言

当公开的数据只有分割mask，没有json数据格式的时候，你的模型训练将会很受局限。为了突破，故撰写该文档，这样可用于检测的验证数据集又多了一些。
在这里插入图片描述
在这里插入图片描述

mask转labelme格式

在这里插入图片描述
mask2Labelme\mask2labelme.py

#!/usr/bin/env python3
#功能批量将多个同类mask 转单个json 
 
import datetime
import json
import os
import io
import re
import fnmatch
import json
from PIL import Image
import numpy as np
from pycococreatortools import pycococreatortools
from PIL import Image
import base64
from base64 import b64encode
 
ROOT_DIR = 'C:/Users/awei/Desktop/mask2Labelme/tank/Tank_train/'
IMAGE_DIR = os.path.join(ROOT_DIR, "Image")
ANNOTATION_DIR = os.path.join(ROOT_DIR, "GT")
 
def img_tobyte(img_pil):
# 类型转换 重要代码
    # img_pil = Image.fromarray(roi)
    ENCODING='utf-8'
    img_byte=io.BytesIO()
    img_pil.save(img_byte,format='PNG')
    binary_str2=img_byte.getvalue()
    imageData = base64.b64encode(binary_str2)
    base64_string = imageData.decode(ENCODING)
    return base64_string
 
 
annotation_files=os.listdir(ANNOTATION_DIR)
for annotation_filename in annotation_files:
    coco_output = {
        "version": "3.16.7",
        "flags": {},
   "fillColor": [255, 0,0,128],
  "lineColor": [0,255,0, 128],
  "imagePath": {},
  "shapes": [],
  "imageData": {} }
    
    print(annotation_filename)
    class_id = 1
    name = annotation_filename.split('.',3)[0]
    name1=name+'.jpg'
    coco_output["imagePath"]=name1 
 
    image = Image.open(IMAGE_DIR+'/'+ name1)
    imageData=img_tobyte(image)
    coco_output["imageData"]= imageData 
    
    binary_mask = np.asarray(Image.open(ANNOTATION_DIR+'/'+annotation_filename)
        .convert('1')).astype(np.uint8)
    segmentation=pycococreatortools.binary_mask_to_polygon(binary_mask, tolerance=3)
    #筛选多余的点集合
    for item in segmentation:
        if(len(item)>10):
 
            list1=[]
            
            for i in range(0, len(item), 2):
                list1.append( [item[i],item[i+1]])
            
            label = "tank" # 
            seg_info = {'points': list1, "fill_color":'null'  ,"line_color":'null' ,"label": label, "shape_type": "polygon","flags": {}}
            coco_output["shapes"].append(seg_info)
    coco_output[ "imageHeight"]=binary_mask.shape[0]
    coco_output[ "imageWidth"]=binary_mask.shape[1]
    
 
    full_path='{}/'+name+'.json'
 
    with open( full_path.format(ROOT_DIR), 'w') as output_json_file:
        json.dump(coco_output, output_json_file)

切分数据

总共有3类数据，每类文件夹下对应的就是jpg和对应的json标注文件，借助splidata_labelMe.py将每类切分为训练测试两部分

labelme2coco\splitData_labelMe.py

import os, random, shutil

fileDir = './hangar485/'
testDir = fileDir+'Test/'
trainDir = fileDir+'Train/'

def moveFile(fileDir,toTest=True):
        
        dir = testDir
        pathDir = [i for i in os.listdir(fileDir) if i.endswith('.json')]    #取所有labelme标注名
        rate=0.1    #自定义抽取图片的比例，比方说100张抽10张，那就是0.1
        filenumber=len(pathDir)
        if not toTest:
            dir = trainDir
            rate = 1 # 将剩下的都作为train
        
        picknumber=int(filenumber*rate) #按照rate比例从文件夹中取一定数量图片
        # picknumber=200   #直接取1000张
        sample = random.sample(pathDir, picknumber)  #随机选取picknumber数量的样本图片
        print (sample)
        
        for name in sample:
                shutil.move(fileDir+name, dir+name)
                jpgName = name.split(".")[0]+'.jpg'
                shutil.move(fileDir+jpgName, dir+jpgName)
        return

if __name__ == '__main__':
    if not os.path.exists(testDir):
        os.makedirs(testDir)
    if not os.path.exists(trainDir):
        os.makedirs(trainDir)
    
    moveFile(fileDir)

    moveFile(fileDir,toTest=False)  # 剩下移动到train

在这里插入图片描述
但是吧你会发现不同类下，文件名都是一样的，这样在后面会导致替换丢失

借助linux下的shell命令，增加对应类别名前缀：

for i in `ls`;do mv -f $i `echo "tank_"$i`; done

在这里插入图片描述

补充labelme的imageData

在这里插入图片描述
JPEGImages中的原始图片，是从labelme的json标注文件中ImageData解码产生
但是吧，有些labelme标注的json，该项为None，所以就会导致labelme2coco_xu无法解码生成原始图片
譬如：

{
  "version": "4.5.13",
  "flags": {},
  "shapes": [
    {
      "label": "tank",
      "points": [
        [
          1351.129363449692,
          407.18685831622173
        ],
        [
          1361.1909650924024,
          408.4188911704312
        ],
        [
          1375.359342915811,
          415.4004106776181
        ],
        [
          1385.4209445585216,
          422.17659137577
        ],
        [
          1373.100616016427,
          435.3182751540041
        ],
        [
          1364.476386036961,
          444.96919917864477
        ],
        [
          1361.3963039014372,
          447.22792607802876
        ],
        [
          1358.7268993839834,
          453.7987679671458
        ],
        [
          1351.9507186858316,
          460.7802874743326
        ],
        [
          1339.2197125256673,
          456.26283367556465
        ],
        [
          1325.4620123203285,
          450.51334702258725
        ],
        [
          1320.3285420944558,
          445.37987679671454
        ],
        [
          1321.1498973305954,
          438.3983572895277
        ],
        [
          1324.640657084189,
          433.88090349075975
        ],
        [
          1328.747433264887,
          429.15811088295686
        ],
        [
          1331.006160164271,
          425.87268993839837
        ],
        [
          1340.6570841889118,
          421.5605749486653
        ]
      ],
      "group_id": null,
      "shape_type": "polygon",
      "flags": {}
    }
  ],
  "imagePath": "2235.jpg",
  "imageData": null,
  "imageHeight": 1080,
  "imageWidth": 1920

labelme2coco\checkImgData_labelme.py

#!/usr/bin/env python3
#功能 填补labelme的json中缺失的imageData
 
import datetime
import json
import os
import io
import json
from PIL import Image
import base64
from base64 import b64encode
 
ROOT_DIR = './tank1073/Test'
IMAGE_DIR = ROOT_DIR
ANNOTATION_DIR = ROOT_DIR
 
def img_tobyte(img_pil):
# 类型转换 重要代码
    # img_pil = Image.fromarray(roi)
    ENCODING='utf-8'
    img_byte=io.BytesIO()
    img_pil.save(img_byte,format='PNG')
    binary_str2=img_byte.getvalue()
    imageData = base64.b64encode(binary_str2)
    base64_string = imageData.decode(ENCODING)
    return base64_string
 
 
annotation_files=[i for i in os.listdir(ANNOTATION_DIR) if i.endswith('.json')]
for annotation_filename in annotation_files:
    with open(ANNOTATION_DIR+'/'+annotation_filename,'r') as f:
        coco_output = json.load(f)

    if coco_output["imageData"] is None:
    
        print(annotation_filename+" without imageData")

        name = annotation_filename.split('.',3)[0]
        name1=name+'.jpg'
 
        image = Image.open(IMAGE_DIR+'/'+ name1)
        imageData=img_tobyte(image)
        coco_output["imageData"]= imageData 
 
        full_path='{}/'+name+'.json'
    
        with open( full_path.format(ROOT_DIR), 'w') as output_json_file:
            json.dump(coco_output, output_json_file)

生成coco格式

labelme2coco\labelme2coco_xu.py

#!/usr/bin/env python

import argparse
import collections
import datetime
import glob
import json
import os
import os.path as osp
import sys
import uuid

import imgviz
import numpy as np

import labelme

try:
    import pycocotools.mask
except ImportError:
    print("Please install pycocotools:\n\n    pip install pycocotools\n")
    sys.exit(1)

#https://blog.csdn.net/sinat_29957455/article/details/82778306
def get_dir_path(root_path,dir_list):
    #获取该目录下所有的文件名称和目录名称
    dir_or_files = os.listdir(root_path)
    for dir_file in dir_or_files:
        #获取目录或者文件的路径
        dir_file_path = os.path.join(root_path,dir_file)
        #判断该路径为文件还是路径
        if os.path.isdir(dir_file_path):
            dir_list.append(dir_file_path)
            #递归获取所有目录的路径
            get_dir_path(dir_file_path,dir_list)

def main():
    parser = argparse.ArgumentParser(
        formatter_class=argparse.ArgumentDefaultsHelpFormatter
    )
    parser.add_argument("--input_dir",type=str,default="./", help="input annotated directory")
    parser.add_argument("--output_dir",type=str,default="./cocoFormat", help="output dataset directory")
    parser.add_argument("--labels",type=str,default="./labels.txt", help="labels file")
    parser.add_argument("--train_flag",type=bool,default=False, help="generate train or val")  # True
    parser.add_argument(
        "--noviz", help="no visualization", action="store_true"
    )

    args = parser.parse_args()

    if osp.exists(args.output_dir):
        print("Output directory already exists:", args.output_dir)
        sys.exit(1)
    os.makedirs(args.output_dir)
    os.makedirs(osp.join(args.output_dir, "JPEGImages"))
    if not args.noviz:
        os.makedirs(osp.join(args.output_dir, "Visualization"))
    print("Creating dataset:", args.output_dir)

    now = datetime.datetime.now()

    data = dict(
        info=dict(
            description=None,
            url=None,
            version=None,
            year=now.year,
            contributor=None,
            date_created=now.strftime("%Y-%m-%d %H:%M:%S.%f"),
        ),
        licenses=[dict(url=None, id=0, name=None,)],
        images=[
            # license, url, file_name, height, width, date_captured, id
        ],
        type="instances",
        annotations=[
            # segmentation, area, iscrowd, image_id, bbox, category_id, id
        ],
        categories=[
            # supercategory, id, name
        ],
    )

    class_name_to_id = {}
    for i, line in enumerate(open(args.labels).readlines()):
        class_id = i - 1  # starts with -1
        class_name = line.strip()
        if class_id == -1:
            assert class_name == "__ignore__"
            continue
        class_name_to_id[class_name] = class_id
        data["categories"].append(
            dict(supercategory=None, id=class_id, name=class_name,)
        )
    dir_list = []
    get_dir_path(args.input_dir,dir_list)
    if args.train_flag:
        out_ann_file = osp.join(args.output_dir, "train_annotations.json")
        dirs = [i for i in dir_list if i.endswith("Train")]

    else:
        out_ann_file = osp.join(args.output_dir, "val_annotations.json")
        dirs = [i for i in dir_list if i.endswith("Test")]

    label_files = []
    for dir in dirs:
        label_files +=glob.glob(osp.join(dir, "*.json"))
    for image_id, filename in enumerate(label_files):
        print("Generating dataset from:", filename)

        label_file = labelme.LabelFile(filename=filename)

        base = osp.splitext(osp.basename(filename))[0]
        out_img_file = osp.join(args.output_dir, "JPEGImages", base + ".jpg")

        img = labelme.utils.img_data_to_arr(label_file.imageData)
        imgviz.io.imsave(out_img_file, img)
        data["images"].append(
            dict(
                license=0,
                url=None,
                file_name=osp.relpath(out_img_file, osp.dirname(out_ann_file)),
                height=img.shape[0],
                width=img.shape[1],
                date_captured=None,
                id=image_id,
            )
        )

        masks = {}  # for area
        segmentations = collections.defaultdict(list)  # for segmentation
        for shape in label_file.shapes:
            points = shape["points"]
            label = shape["label"]
            group_id = shape.get("group_id")
            shape_type = shape.get("shape_type", "polygon")
            mask = labelme.utils.shape_to_mask(
                img.shape[:2], points, shape_type
            )

            if group_id is None:
                group_id = uuid.uuid1()

            instance = (label, group_id)

            if instance in masks:
                masks[instance] = masks[instance] | mask
            else:
                masks[instance] = mask

            if shape_type == "rectangle":
                (x1, y1), (x2, y2) = points
                x1, x2 = sorted([x1, x2])
                y1, y2 = sorted([y1, y2])
                points = [x1, y1, x2, y1, x2, y2, x1, y2]
            if shape_type == "circle":
                (x1, y1), (x2, y2) = points
                r = np.linalg.norm([x2 - x1, y2 - y1])
                n_points_circle = 12
                i = np.arange(n_points_circle)
                x = x1 + r * np.sin(2 * np.pi / n_points_circle * i)
                y = y1 + r * np.cos(2 * np.pi / n_points_circle * i)
                points = np.stack((x, y), axis=1).flatten().tolist()
            else:
                points = np.asarray(points).flatten().tolist()

            segmentations[instance].append(points)
        segmentations = dict(segmentations)

        for instance, mask in masks.items():
            cls_name, group_id = instance
            if cls_name not in class_name_to_id:
                continue
            cls_id = class_name_to_id[cls_name]

            mask = np.asfortranarray(mask.astype(np.uint8))
            mask = pycocotools.mask.encode(mask)
            area = float(pycocotools.mask.area(mask))
            bbox = pycocotools.mask.toBbox(mask).flatten().tolist()

            data["annotations"].append(
                dict(
                    id=len(data["annotations"]),
                    image_id=image_id,
                    category_id=cls_id,
                    segmentation=segmentations[instance],
                    area=area,
                    bbox=bbox,
                    iscrowd=0,
                )
            )

        if not args.noviz:
            viz = img
            if masks:
                labels, captions, masks = zip(
                    *[
                        (class_name_to_id[cnm], cnm, msk)
                        for (cnm, gid), msk in masks.items()
                        if cnm in class_name_to_id
                    ]
                )
                viz = imgviz.instances2rgb(
                    image=img,
                    labels=labels,
                    masks=masks,
                    captions=captions,
                    font_size=15,
                    line_width=2,
                )
            out_viz_file = osp.join(
                args.output_dir, "Visualization", base + ".jpg"
            )
            imgviz.io.imsave(out_viz_file, viz)

    with open(out_ann_file, "w") as f:
        json.dump(data, f)


if __name__ == "__main__":
    main()

之后稍微调整下文件夹名方可，这里稍微注意下coco的instance_{train,val}2017.json文件中的"file_name": "JPEGImages/person_dataset07_08_00010578.jpg"故在train2017文件夹下得有个JPEGImages文件夹，然后再放原始图片
在这里插入图片描述

🔰 汇总 🔰

1.从labelImg格式->txt格式（YOLO格式、ICDAR2015格式）

🔷2.从二值mask-＞labelme格式-＞coco格式

3.从labelme格式-＞VOC格式+从二值mask-＞VOC格式

4.从RGB-＞二值mask-＞coco格式

5.实例分割mask-＞语义分割mask-＞扩增mask

6.COCO格式-＞YOLO格式

双模图片数据与对应标注文件的命名对齐

xml标注文件的节点、属性、文本的修正

cocoJson数据集统计分析

星空•物语
关注
  • 16
    点赞
  • 踩
  • 78
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论
专栏目录
自建数据集系列：从RGB-＞二值mask-＞coco格式
qq_40265247的博客
11-23 7488
前言 前文说到，mask可以转labelme，然后再转coco。但对于实例级的mask事情变得有点不同，需先将RGB的mask拆解为二值mask然后进行直接操作，省略labelme这一步骤。 image文件夹下 annotations文件夹下 RGB转二值mask import cv2 import numpy as np import os, glob part = "test" def rgb2masks(label_name): # Camouflaged: # COD10K-CAM-S
含掩膜mask的单通道灰度图转化为COCO数据集格式标签的json文件（python）
qq_44442727的博客
12-04 1124
上述代码仍然存在不足，有的mask太小segmentation输出是 []，这需要检查一下，我在里面输出的位置判断是空就不保存可以避免这种问题，但是bbox等信息有的会出现Nah的情况，需要自己判断处理。还有一点，有些内部mask比较极端的情况，代码执行容易出错，建议把问题图像删除，或者自己查找问题修改代码。目标：把灰度图中的语义mask转换为COCO数据集格式的json文件。输入：单通道的灰度图，灰度图内含掩膜mask。输出：COCO数据集格式的json文件。整体上来说，这个代码还是挺好用的。
探索图像可视化新境界：imgviz 图像可视化工具
最新发布
gitblog_00063的博客
05-28 469
探索图像可视化新境界：imgviz 图像可视化工具 项目地址:https://gitcode.com/wkentaro/imgviz 在数据科学和机器学习领域，图像处理与可视化是不可或缺的环节。今天，我们向您推荐一个强大的Python开源库——imgviz，这是一款高效且易用的图像可视化工具，能帮助您将复杂的数据转化为直观、精美的图像。 1、项目介绍 imgviz 是一款旨在简化和丰富图像数据可视...
语义分割mask掩码转化为labelme格式（json文件）
zzu_zhong的博客
06-26 4599
当我们数据集的语义标签为mask掩码格式时，而又想转换成labelme数据格式（json文件），达到如下图所示的结果，该如何实现呢？
detectron2入门学习二：实现FruitsNut水果坚果分割任务数据集Mask与coco格式转换处理
qq_43264202的博客
02-05 3608
学习目标： 提示：这里可以添加学习目标 例如：一周掌握 Java 入门知识 学习内容： 提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 学习时间： 提示：这里可以添加计划学习的时间 例如： 1、 周一至周五晚上 7 点—晚上9点 2、 周六上午 9 点-上午 11 点 3、 周日下午 3 点-下午 6 点 学习产出： 提示：这里统计学习计划的总量 例如： 1、 技术笔记 2 遍 2、CSDN 技术博客 3 篇
Mask_RCNN训练自己的数据——制作COCO格式的数据集
热门推荐
地理信息系统、摄影测量与遥感、人工智能
12-01 3万+
matterport版mask_rcnn系列： 1.Mask_RCNN训练自己的数据 2.目标检测：使用Open_cv在图像上批量画bounding box 3.Mask_RCNN：使用COCO权重进行特定类别预测（只标记出你需要的类别） 4.Mask_RCNN:ValueError: Dimension 1 in both shapes ...............
【亲测有用】使用Image和Mask图像转化成COCO数据格式
七分熟少女
08-29 3726
将彩色RGB分割标注图像数据集转换为COCO格式的JSON文件
批量分割mask转json
Zomcxj的博客
04-20 5370
代码 import os import cv2 import sys import PIL import copy import json import yaml import base64 import numpy as np import skimage.io as io from glob import glob from convertmask import baseDecorate try: from labelme import __version__ as labelme_versio
labelme标注数据集到COCO格式数据集转化，用于官方版Mask-Rcnn训练
04-14
labelme标注数据集到COCO格式数据集转化，用于官方版Mask-Rcnn训练
labelme标注数据集到COCO格式数据集转化，用于官方版Mask-Rcnn训练.py
12-19
labelme标注数据集到COCO格式数据集转化，用于官方版Mask-Rcnn训练亲测好用，挺不错的资源，大家快来下载吧！挺有用的！需要的话可以来下载哦！
将labelme格式数据转化为标准的coco数据集格式方式
12-20
这个转换过程确保了LabelMe中的图像和标注信息能够被COCO API正确解析，进而可以用于训练基于COCO数据集格式的模型，如 Mask R-CNN 或 YOLO 等目标检测和分割模型。通过这种方式，我们可以将自定义的标注数据集轻松...
labelme标注的数据集格式转换到COCO数据集格式
10-28
Mask_RCNN训练，labelme标注的数据集格式转换到COCO数据集格式。
PyTorch版Mask R-CNN图像实例分割实战：训练自己的数据集【331003】安装项目1
08-04
在训练过程中，你需要将自己标注的图像数据集转换为COCO格式，以便maskrcnn-benchmark可以读取。训练过程中会涉及模型的超参数调整、损失函数优化以及验证集性能评估。 总结来说，这个项目实战涵盖了从环境搭建、...
segmentation后 mask图片数据转换成coco对应的json格式
poppyty的博客
03-03 2105
mask转coco的json
mask二值图像多mask转coco格式
m0_46349667的博客
05-30 2238
mask二值图像转coco格式 解决的问题： 一个二值mask图像中有多个物体的mask转化为coco格式。（我是做的是实例分割） import json import numpy as np from pycocotools import mask import cv2 import os import sys if sys.version_info[0] >= 3: unicode = str # __author__ = 'hcaesar' import io # 实例的id，每个图
Mask to Polygons mask转Polygons并保存为labelMe json文件
weixin_42991437的博客
04-15 5658
Mask to Polygons mask转Polygons并保存为labelMe json文件
将mask图像转换成coco形式（包含bbox）
LarsGyonX的博客
01-18 914
最近在医学图像上visual grounding的实验，由于大多息肉的任务都是分割，我之前收集的数据集也是无监督数据集or分割数据集，因此萌发了将mask转成bounding box标签的念头，来扩充监测数据集。数据集：息肉二分类分割数据集，一张图中可能包含多个息肉。
【二值标注maks图转coco的json标注，两个json文件合并，检查错误标注】
qq_43199876的博客
03-27 561
我一共遇到了这三种错误，有时候程序能跑，但到epoch=100或者200左右时候就会报错，主要还是标注的格式问题，用check_segmentation检查清除之后就可以了。用于检测转换的json文件在segmentation时候有没有长度小于8的标注，如果有的话，训练时候会报错。首先是二值标注图转成coco类型。
【coco】掩膜mask影像转coco格式txt（含python代码）
向上生长的程序媛的博客
12-14 1858
二值掩膜影像——coco格式txt的label转换，含详细解析和完整python代码。
怎么将labelme格式json文件转换为coco格式数据集
05-24
将labelme格式json文件转换为coco格式数据集，需要经过以下几个步骤： 1. 安装labelme和cocoapi库 ``` pip install labelme pip install pycocotools ``` 2. 使用labelme工具制作标注数据，并将标注数据保存为json格式文件 3. 将json格式文件转换为coco格式数据集 ``` labelme2coco.py /path/to/labelme/json/files /path/to/save/coco/dataset ``` 其中，`/path/to/labelme/json/files` 是标注数据的json文件夹路径，`/path/to/save/coco/dataset` 是转换后的COCO数据集路径。 4. 可以使用COCO API中的`pycocotools.coco.COCO`类来读取和处理coco格式数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

星空•物语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值