Mask R-CNN实现RGB-D数据集训练

        在使用Mask R-CNN做了RGB的数据的实例分割,感觉效果很棒,提出疑问,如果使用RGB-D数据集多了一个维度的信息,那么分割效果是不是更好。于是就开始了我尝试使用RGB-D数据集训练Mask R-CNN的想法。

网上的开源的Mask R-CNN代码是以RGB图像作为默认输入图像的,如果需要处理4通道图像,需要对源码进行一定的修改,参考github以为大神的解决方案,Github地址

实现主要分为6步:

        1、在子类中Config,设置IMAGE_CHANNEL_COUNT为4,单通道为1。

        2、在Config中,将MEAN_PIXEL从3个值更改为4个值,需要对数据集的深度图求解均值。

        3、将utils.py中的Dataset类中的load_image方法进行修改。需要注意的是利用skimage.io.imread读取单通道图像得到的array是二维的,需要将其扩展至三维,即增加一个通道数维度。代码如下:

image = skimage.io.imread(self.image_info[image_id]['path'])
prefix,suffix=os.path.splitext((self.image_info[image_id]['path']).split('/')[-1])
depth_img_path=os.path.join(self.depth_path,prefix+'.1.jpg')
#print("depth_img_path:",depth_img_path)
depth=skimage.io.imread(depth_img_path)
depth=np.expand_dims(depth,axis=-1)
image=np.concatenate((image,depth),axis=-1)   
return image

        4、由于更改了网络的输入,需要在输入端更改为自己的输入通道数,我更改为了4,即在model.py的MaskRCNN类中的build函数进行更改:

 # Inputs
        input_image = KL.Input(
            shape=[None, None, 4], name="input_image")
        input_image_meta = KL.Input(shape=[config.IMAGE_META_SIZE],
                                    name="input_image_meta")

        5、更改了网络的输入后,由于后面是全卷积神经网络,我们只需要更改第一层的参数,保留剩余层的参数进行Finetuning训练即可。要解决此问题,请exclude在加载权重时使用该参数以排除第一个图层。这允许您加载除了之外的所有图层的权重conv1,这将被初始化为随机权重。在主文件中,加入‘conv1’,即可不加载第一层参数,否则会出现tensor不匹配的问题。

model.load_weights(COCO_MODEL_PATH, by_name=True,
                       exclude=["mrcnn_class_logits", "mrcnn_bbox_fc",
                                "mrcnn_bbox", "mrcnn_mask",'conv1'])

        6、在训练过程中由于conv1层是随机初始化的,因此需要进行参数调整,可以通过调整"heads"包含的网络层来将conv1层添加至训练层。"heads"或者其他层数的定义位于model.py文件的MaskRCNN类的train()方法中。

layer_regex = {
            # all layers but the backbone
            "heads": r"(mrcnn\_.*)|(rpn\_.*)|(fpn\_.*)|(conv1.*)",
            # From a specific Resnet stage and up

这样就可以使得Mask R-CNN在RGB-D数据集上进行训练了。

评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值