实例分割-使用MMDection训练自己的数据
1、安装MMDection所需环境
安装时可参考这位大佬的内容，已尝试，成功率高。博文链接：https://blog.csdn.net/m0_51951660/article/details/131214496。
注意：安装过程中可能会遇到的问题是版本不适配的问题。
错误显示：AssertionError: MMCV==1.7.1 is used but incompatible. Please install mmcv＞=2.0.0rc4, ＜2.1.0.
解决这个错误可以对照下表进行版本对照参考。
我的安装环境（用于参考）：
最后运行image_demo.py验证是否安装成功即可。
2、制作coco数据集
我的数据集是将原本用于语义分割的数据集转化成coco数据集。需要两步：①将原本用于语义分割所标注的json标注文件转换成用于实例分割的json标注文件；②将原图和用于实例分割的json标注文件转换成coco数据集。
第①步，可参考这篇文章: link，该文章已给出详细可运行的转化代码。
第②步，先将数据集划分成训练集、验证集、测试集。分别对训练集、验证集、测试集的数据进行下面代码的运行，可得到coco数据集中的json文件instances_train2017.json、instances_val2017.json、instances_test2017.json
import argparse
import json
import matplotlib.pyplot as plt
import skimage.io as io
# import cv2
from labelme import utils
import numpy as np
import glob
import PIL.Image
class MyEncoder(json.JSONEncoder):
def default(self, obj):
if isinstance(obj, np.integer):
return int(obj)
elif isinstance(obj, np.floating):
return float(obj)
elif isinstance(obj, np.ndarray):
return obj.tolist()
else:
return super(MyEncoder, self).default(obj)
class labelme2coco(object):
def __init__(self, labelme_json=[], save_json_path='./tran.json'):
self.labelme_json = labelme_json
self.save_json_path = save_json_path
self.images = []
self.categories = []
self.annotations = []
# self.data_coco = {}
self.label = []
self.annID = 1
self.height = 0
self.width = 0
self.save_json()
def data_transfer(self):
for num, json_file in enumerate(self.labelme_json):
with open(json_file, 'r') as fp:
data = json.load(fp) # 加载json文件
self.images.append(self.image(data, num))
for shapes in data['shapes']:
label = shapes['label']
if label not in self.label:
self.categories.append(self.categorie(label))
self.label.append(label)
points = shapes['points'] # 这里的point是用rectangle标注得到的，只有两个点，需要转成四个点
points.append([points[0][0], points[1][1]])
points.append([points[1][0], points[0][1]])
self.annotations.append(self.annotation(points, label, num))
self.annID += 1
def image(self, data, num):
image = {}
img = utils.img_b64_to_arr(data['imageData']) # 解析原图片数据
# img=io.imread(data['imagePath']) # 通过图片路径打开图片
# img = cv2.imread(data['imagePath'], 0)
height, width = img.shape[:2]
img = None
image['height'] = height
image['width'] = width
image['id'] = num + 1
image['file_name'] = data['imagePath'].split('/')[-1]
self.height = height
self.width = width
return image
def categorie(self, label):
categorie = {}
categorie['supercategory'] = 'Cancer'
categorie['id'] = len(self.label) + 1 # 0 默认为背景
categorie['name'] = label
return categorie
def annotation(self, points, label, num):
annotation = {}
annotation['segmentation'] = [list(np.asarray(points).flatten())]
annotation['iscrowd'] = 0
annotation['image_id'] = num + 1
# annotation['bbox'] = str(self.getbbox(points)) # 使用list保存json文件时报错（不知道为什么）
# list(map(int,a[1:-1].split(','))) a=annotation['bbox'] 使用该方式转成list
annotation['bbox'] = list(map(float, self.getbbox(points)))
annotation['area'] = annotation['bbox'][2] * annotation['bbox'][3]
# annotation['category_id'] = self.getcatid(label)
annotation['category_id'] = self.getcatid(label) # 注意，源代码默认为1
annotation['id'] = self.annID
return annotation
def getcatid(self, label):
for categorie in self.categories:
if label == categorie['name']:
return categorie['id']
return 1
def getbbox(self, points):
# img = np.zeros([self.height,self.width],np.uint8)
# cv2.polylines(img, [np.asarray(points)], True, 1, lineType=cv2.LINE_AA) # 画边界线
# cv2.fillPoly(img, [np.asarray(points)], 1) # 画多边形 内部像素值为1
polygons = points
mask = self.polygons_to_mask([self.height, self.width], polygons)
return self.mask2box(mask)
def mask2box(self, mask):
'''从mask反算出其边框
mask：[h,w] 0、1组成的图片
1对应对象，只需计算1对应的行列号（左上角行列号，右下角行列号，就可以算出其边框）
'''
# np.where(mask==1)
index = np.argwhere(mask == 1)
rows = index[:, 0]
clos = index[:, 1]
# 解析左上角行列号
left_top_r = np.min(rows) # y
left_top_c = np.min(clos) # x
# 解析右下角行列号
right_bottom_r = np.max(rows)
right_bottom_c = np.max(clos)
# return [(left_top_r,left_top_c),(right_bottom_r,right_bottom_c)]
# return [(left_top_c, left_top_r), (right_bottom_c, right_bottom_r)]
# return [left_top_c, left_top_r, right_bottom_c, right_bottom_r] # [x1,y1,x2,y2]
return [left_top_c, left_top_r, right_bottom_c - left_top_c,
right_bottom_r - left_top_r] # [x1,y1,w,h] 对应COCO的bbox格式
def polygons_to_mask(self, img_shape, polygons):
mask = np.zeros(img_shape, dtype=np.uint8)
mask = PIL.Image.fromarray(mask)
xy = list(map(tuple, polygons))
PIL.ImageDraw.Draw(mask).polygon(xy=xy, outline=1, fill=1)
mask = np.array(mask, dtype=bool)
return mask
def data2coco(self):
data_coco = {}
data_coco['images'] = self.images
data_coco['categories'] = self.categories
data_coco['annotations'] = self.annotations
return data_coco
def save_json(self):
self.data_transfer()
self.data_coco = self.data2coco()
# 保存json文件
json.dump(self.data_coco, open(self.save_json_path, 'w'), indent=4, cls=MyEncoder) # indent=4 更加美观显示
labelme_json = glob.glob('C:/Users/mys/Desktop/val_temp/*.json')
# labelme_json=['./1.json']
labelme2coco(labelme_json, 'C:/Users/mys/Desktop/coco/annotations/instances_val2017.json')
将上面运行得到的json文件以及原图片按coco数据集的样式进行存放。coco数据集的样式如下，其中annotations中存放的是instances_train2017.json、instances_val2017.json、instances_test2017.json；余下三个文件夹中存放的是对应的原图片：
3、修改配置文件
3.1、修改类别
根据自己的类别进行下面的修改。在我给出的例图中只有一个类别，名字为primary。
注：如一张图上有多个人，每个人属于一个实例，但此实例不属于类别，人是一个类别。
①修改mmdet\datasets\coco.py
②修改mmdet\evaluation\functional\class_names.py
3.2、修改config
总的config是在训练时候加载的文件，即tools\train.py中的–config参数。我的如下图所示，其中，demo_mask-rcnn_r50_fpn_2x_coco.py是我的configs/mask_rcnn中新建的配置文件。
configs\mask_rcnn\demo_mask-rcnn_r50_fpn_2x_coco.py中的内容如下所示，此文件修改类别+数据集路径：
# 这个新的配置文件继承自一个原始配置文件，只需要突出必要的修改部分即可
_base_ = './mask-rcnn_r50_fpn_2x_coco.py'
# 1、 设置训练超参数----------
# 修改模型分类数
model = dict(
roi_head=dict(
bbox_head=dict(num_classes=1)))
# 要加载的预训练权重
load_from = ""
# 训练的epcoh数
runner = dict(type='EpochBasedRunner', max_epochs=3)
# 验证时的间隔epcoh数（并不是每一个epoch都进行验证）
evaluation = dict(interval=3, metric='bbox')
# 2、 修改数据集相关设置----------
# 数据集类型
dataset_type = 'CocoDataset'
# label值
classes = ('primary',)
# 3、 训练集与测试集的的预处理------------
# 多次测试发现在这里定义的pipeline是无效操作，且发现如果在后续的data中设置pipeline会导致报错
# 因此要修改_base_\datasets\下的数据集文件
# 4、 设置数据集的路径---------------
data_root = "D:/Project/mmdetection-3.0.0/tools/data/coco/"
data = dict(
samples_per_gpu=4, # batch size
workers_per_gpu=4, # num_workers
train=dict(
img_prefix=data_root,
classes=classes,
ann_file=data_root+'annotations/instances_train2017.json'),
val=dict(
img_prefix=data_root,
classes=classes,
ann_file=data_root+'annotations/instances_val2017.json'),
# test=dict(
# img_prefix=data_root,
# classes=classes,
# ann_file='data/voc07_test.json')
)
# 5、 训练策略设置
optimizer = dict(type='SGD', lr=0.01, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
# 学习策略
lr_config = dict(
policy='step',
warmup='linear',
warmup_iters=500,
warmup_ratio=0.001,
step=[7])
在这个代码中需要修改自己的classes。同时，根据_base_ = './mask-rcnn_r50_fpn_2x_coco.py’追随继承的config文件mask-rcnn_r50_fpn_2x_coco.py。该文件如下所示：
根据第一个’…/base/models/mask-rcnn_r50_fpn.py’找到该文件进行类别修改：
根据第二个’…/base/datasets/coco_instance.py’找到该文件进行修改，添加data_root，并分别对train_dataloader、test_dataloader、val_dataloader进行相同的修改：
后面两个’…/base/schedules/schedule_2x.py’和 '…/base/default_runtime.py’可不修改。
自此，修改结束，可以进行训练！
参考文章：1、安装参考：https://blog.csdn.net/m0_51951660/article/details/131214496
2、https://blog.csdn.net/jingyu_1/article/details/126200161
3、coco数据集介绍：https://blog.csdn.net/qingfengxiaosong/article/details/130258025
4、https://www.yii666.com/blog/543219.html
扫一扫
5269
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
