ubuntu18.04+pytorch1.3+mmdetection v1.2.0 运行自己制作的coco数据集

coco格式数据集制作

1. labelme的安装及使用 ：该部分主要参考labelme安装及使用，需要注意的是上述链接是在Windows环境下安装的，因此若在Ubuntu环境下安装，视频后半部分关于批量操作.json文件的部分不应采取；
2. 使用labelme标注图片 ：在使用labelme标注图片时，需特别注意图片的位置，以下是我标注的步骤，首先在mmdetection1.2.0文件下创建data文件夹，data文件夹下创建coco文件夹，coco文件夹下创建annotations，train2017，val2017三个文件夹如下图所示将train图片和val图片分别放入对应文件夹下，在标注时分别打开两个文件夹分别标注.json文件放置在当前标注图片的文件夹中；
3. labelme转coco ：标注完成后需要将标注的.json文件转文coco格式，以便在mmdetection中使用。首先新建文件labelme2coco.py

# -*- coding:utf-8 -*-
# !/usr/bin/env python

import argparse
import json
import matplotlib.pyplot as plt
import skimage.io as io
import cv2
from labelme import utils
import numpy as np
import glob
import PIL.Image

class MyEncoder(json.JSONEncoder):
   def default(self, obj):
       if isinstance(obj, np.integer):
           return int(obj)
       elif isinstance(obj, np.floating):
           return float(obj)
       elif isinstance(obj, np.ndarray):
           return obj.tolist()
       else:
           return super(MyEncoder, self).default(obj)

class labelme2coco(object):
   def __init__(self, labelme_json=[], save_json_path='/home/biao/PycharmProjects/mmdetection-1.2.0/data/coco/annotations/instances_val2017.json'):
       ''‘
       :param labelme_json: 所有labelme的json文件路径组成的列表
       :param save_json_path: json保存位置，利用train文件夹中.json文件生成instances_train2017.json,利用val文件夹中.json文件生成instances_val2017.json,
       '''
       self.labelme_json = labelme_json
       self.save_json_path = save_json_path
       self.images = []
       self.categories = []
       self.annotations = []
       # self.data_coco = {}
       self.label = []
       self.annID = 1
       self.height = 0
       self.width = 0

       self.save_json()

   def data_transfer(self):

       for num, json_file in enumerate(self.labelme_json):
           with open(json_file, 'r') as fp:
               data = json.load(fp)  # 加载json文件
               self.images.append(self.image(data, num))
               for shapes in data['shapes']:
                   label = shapes['label']
                   if label not in self.label:
                       self.categories.append(self.categorie(label))
                       self.label.append(label)
                   points = shapes['points']#这里的point是用rectangle标注得到的，只有两个点，需要转成四个点
                   #points.append([points[0][0],points[1][1]])
                   #points.append([points[1][0],points[0][1]])
                   self.annotations.append(self.annotation(points, label, num))
                   self.annID += 1

   def image(self, data, num):
       image = {}
       img = utils.img_b64_to_arr(data['imageData'])  # 解析原图片数据
       # img=io.imread(data['imagePath']) # 通过图片路径打开图片
       # img = cv2.imread(data['imagePath'], 0)
       height, width = img.shape[:2]
       img = None
       image['height'] = height
       image['width'] = width
       image['id'] = num + 1
       image['file_name'] = data['imagePath'].split('/')[-1]
       # image['file_name'] = data['imagePath'][3:14]
       self.height = height
       self.width = width

       return image

   def categorie(self, label):
       categorie = {}
       categorie['supercategory'] = 'Cancer'
       categorie['id'] = len(self.label) + 1  # 0 默认为背景
       categorie['name'] = label
       return categorie

   def annotation(self, points, label, num):
       annotation = {}
       annotation['segmentation'] = [list(np.asarray(points).flatten())]
       annotation['iscrowd'] = 0
       annotation['image_id'] = num + 1
       # annotation['bbox'] = str(self.getbbox(points)) # 使用list保存json文件时报错（不知道为什么）
       # list(map(int,a[1:-1].split(','))) a=annotation['bbox'] 使用该方式转成list
       annotation['bbox'] = list(map(float, self.getbbox(points)))
       annotation['area'] = annotation['bbox'][2] * annotation['bbox'][3]
       # annotation['category_id'] = self.getcatid(label)
       annotation['category_id'] = self.getcatid(label)#注意，源代码默认为1
       annotation['id'] = self.annID
       return annotation

   def getcatid(self, label):
       for categorie in self.categories:
           if label == categorie['name']:
               return categorie['id']
       return 1

   def getbbox(self, points):
       # img = np.zeros([self.height,self.width],np.uint8)
       # cv2.polylines(img, [np.asarray(points)], True, 1, lineType=cv2.LINE_AA)  # 画边界线
       # cv2.fillPoly(img, [np.asarray(points)], 1)  # 画多边形 内部像素值为1
       polygons = points

       mask = self.polygons_to_mask([self.height, self.width], polygons)
       return self.mask2box(mask)

   def mask2box(self, mask):
       '''从mask反算出其边框
       mask：[h,w]  0、1组成的图片
       1对应对象，只需计算1对应的行列号（左上角行列号，右下角行列号，就可以算出其边框）
       '''
       # np.where(mask==1)
       index = np.argwhere(mask == 1)
       rows = index[:, 0]
       clos = index[:, 1]
       # 解析左上角行列号
       left_top_r = np.min(rows)  # y
       left_top_c = np.min(clos)  # x

       # 解析右下角行列号
       right_bottom_r = np.max(rows)
       right_bottom_c = np.max(clos)

       # return [(left_top_r,left_top_c),(right_bottom_r,right_bottom_c)]
       # return [(left_top_c, left_top_r), (right_bottom_c, right_bottom_r)]
       # return [left_top_c, left_top_r, right_bottom_c, right_bottom_r]  # [x1,y1,x2,y2]
       return [left_top_c, left_top_r, right_bottom_c - left_top_c,
               right_bottom_r - left_top_r]  # [x1,y1,w,h] 对应COCO的bbox格式

   def polygons_to_mask(self, img_shape, polygons):
       mask = np.zeros(img_shape, dtype=np.uint8)
       mask = PIL.Image.fromarray(mask)
       xy = list(map(tuple, polygons))
       PIL.ImageDraw.Draw(mask).polygon(xy=xy, outline=1, fill=1)
       mask = np.array(mask, dtype=bool)
       return mask

   def data2coco(self):
       data_coco = {}
       data_coco['images'] = self.images
       data_coco['categories'] = self.categories
       data_coco['annotations'] = self.annotations
       return data_coco

   def save_json(self):
       self.data_transfer()
       self.data_coco = self.data2coco()
       # 保存json文件
       json.dump(self.data_coco, open(self.save_json_path, 'w'), indent=4, cls=MyEncoder)  # indent=4 更加美观显示


labelme_json = glob.glob('/home/biao/PycharmProjects/mmdetection-1.2.0/data/coco/val2017/*.json')#访问train2017或val2017文件夹下.json文件
# labelme_json=['./Annotations/*.json']

labelme2coco(labelme_json, '/home/biao/PycharmProjects/mmdetection-1.2.0/data/coco/annotations/instances_val2017.json')#保存生成的instances_train2017.json或instances_val2017.json

在生成instances_train2017.json和instances_val2017.json应分别改变上述代码到对应的文件夹下，若成功运行可得到下图文件中部分内容如下图至此可完成coco数据集的制作

训练，测试

先贴上参考的博客【mmdetection】使用自定义的coco格式数据集进行训练及测试
不同点是我标注的只有一类，另外在运行代码

python tools/train.py configs/faster_rcnn_r50_fpn_1x.py --gpus 1 --validate --work_dir work_dirs

时出现很多错误，其中大部分是因为数据集的制作有问题，还有一个错误的原因时pycocotools文件报错，解决办法pycocptools报错
在运行测试代码

python tools/test.py configs/faster_rcnn_r50_fpn_1x.py work_dirs/epoch_100.pth --out ./result/result_100.pkl --eval bbox --show

需根据自己训练时work_dir文件中生成的情况修改，并建立result文件夹，以便存放生成的result_**.pkl文件。