Mask R-CNN实现RGB-D数据集训练

        在使用Mask R-CNN做了RGB的数据的实例分割，感觉效果很棒，提出疑问，如果使用RGB-D数据集多了一个维度的信息，那么分割效果是不是更好。于是就开始了我尝试使用RGB-D数据集训练Mask R-CNN的想法。

网上的开源的Mask R-CNN代码是以RGB图像作为默认输入图像的，如果需要处理4通道图像，需要对源码进行一定的修改，参考github以为大神的解决方案，Github地址。

实现主要分为6步：

        1、在子类中Config，设置IMAGE_CHANNEL_COUNT为4，单通道为1。

        2、在Config中，将MEAN_PIXEL从3个值更改为4个值，需要对数据集的深度图求解均值。

        3、将utils.py中的Dataset类中的load_image方法进行修改。需要注意的是利用skimage.io.imread读取单通道图像得到的array是二维的，需要将其扩展至三维，即增加一个通道数维度。代码如下：

image = skimage.io.imread(self.image_info[image_id]['path'])
prefix,suffix=os.path.splitext((self.image_info[image_id]['path']).split('/')[-1])
depth_img_path=os.path.join(self.depth_path,prefix+'.1.jpg')
#print("depth_img_path:",depth_img_path)
depth=skimage.io.imread(depth_img_path)
depth=np.expand_dims(depth,axis=-1)
image=np.concatenate((image,depth),axis=-1)   
return image

        4、由于更改了网络的输入，需要在输入端更改为自己的输入通道数，我更改为了4，即在model.py的MaskRCNN类中的build函数进行更改：

 # Inputs
        input_image = KL.Input(
            shape=[None, None, 4], name="input_image")
        input_image_meta = KL.Input(shape=[config.IMAGE_META_SIZE],
                                    name="input_image_meta")

        5、更改了网络的输入后，由于后面是全卷积神经网络，我们只需要更改第一层的参数，保留剩余层的参数进行Finetuning训练即可。要解决此问题，请exclude在加载权重时使用该参数以排除第一个图层。这允许您加载除了之外的所有图层的权重conv1，这将被初始化为随机权重。在主文件中，加入‘conv1’,即可不加载第一层参数，否则会出现tensor不匹配的问题。

model.load_weights(COCO_MODEL_PATH, by_name=True,
                       exclude=["mrcnn_class_logits", "mrcnn_bbox_fc",
                                "mrcnn_bbox", "mrcnn_mask",'conv1'])

        6、在训练过程中由于conv1层是随机初始化的，因此需要进行参数调整，可以通过调整"heads"包含的网络层来将conv1层添加至训练层。"heads"或者其他层数的定义位于model.py文件的MaskRCNN类的train()方法中。

layer_regex = {
            # all layers but the backbone
            "heads": r"(mrcnn\_.*)|(rpn\_.*)|(fpn\_.*)|(conv1.*)",
            # From a specific Resnet stage and up

这样就可以使得Mask R-CNN在RGB-D数据集上进行训练了。