Mask rcnn 源码学习笔记

最新推荐文章于 2024-04-13 09:38:34 发布
最新推荐文章于 2024-04-13 09:38:34 发布
阅读量650 收藏 3
点赞数
分类专栏： 神经网络 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyx0708/article/details/85078876
版权

一、概述

注：本文章只作为自己在阅读mask rcnn时的笔记存档。

目录

一、概述

二、模块结构

三、代码解析

模型输入变量构建

图片特征提取（Resnet）

特征融合

产生锚点

三·、代码精读

ResNet构建：

融合Feature map

构建RPN网络

Generate proposals（ProposalLayer）

DetectionTargetLayer

Network Heads

fpn_classifer_graph

build_fpn_mask_graph

Loss

Model

本源码及训练集路径在文章末尾有链接。

首先我们需要弄清楚Mask rcnn是一个什么样的算法，这样才能明白在什么样的领域使用会比较好。

  1. Mask rcnn可以算作一种集成的算法（我的理解：集成算法回事未来神经网络的趋势）。

  2. Mask rcnn是一个实例分割（Instance segmentation）算法。

  3. 可以应用的场景有：目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务

实例分割，目标检测和语义分割的区别：

通常意义上的目标分割指的是语义分割

实例分割是一个从目标分割领域独立出来的一个小领域

实例分割需要在语义分割的基础上对同类物体进行更精细的分割

上图引用自：https://blog.csdn.net/WZZ18191171661/article/details/79453780

二、模块结构

注：由于mask rcnn是一个多模型的集成，所以下面只说明抽象模块

  1. 卷积网络提出图像特征，作者源码使用的是resnet。
  2. 模块1中的分层特征融合
  3. 根据feature map得到anchors
  4. 通过RPN网络得到输出框体（回归边框和区分前景和背景）
  5. 根据是training还是reference分为两支，需要注意ROIAlign的使用（就是双线性插值）
  6. training分支：fpn classifier graph 和 fpn mask graph 分别训练
  7. reference分支：先fpn classifier graph 再 fpn mask graph

三、代码解析

断言判断输入模型名称是否合法

assert mode in ['training', 'inference']

检查配置文件的IMAGE_SHAPE中的宽高。（图像会resize为配置的大小，这个大小通过resnet的池化层时需要一定的限制）

 # Image size must be dividable by 2 multiple times
        h, w = config.IMAGE_SHAPE[:2]
        if h / 2**6 != int(h / 2**6) or w / 2**6 != int(w / 2**6):
            raise Exception("Image size must be dividable by 2 at least 6 times "
                            "to avoid fractions when downscaling and upscaling."
                            "For example, use 256, 320, 384, 448, 512, ... etc. ")

模型输入变量构建

training和inference两个模式都有的输入为图片输入

# Inputs
        input_image = KL.Input(
            shape=[None, None, 3], name="input_image")
        input_image_meta = KL.Input(shape=[config.IMAGE_META_SIZE],
                                    name="input_image_meta")
        if mode == "training":
            # RPN GT
            input_rpn_match = KL.Input(
                shape=[None, 1], name="input_rpn_match", dtype=tf.int32)
            input_rpn_bbox = KL.Input(
                shape=[None, 4], name="input_rpn_bbox", dtype=tf.float32)

            # Detection GT (class IDs, bounding boxes, and masks)
            # 1. GT Class IDs (zero padded)
            input_gt_class_ids = KL.Input(
                shape=[None], name="input_gt_class_ids", dtype=tf.int32)
            # 2. GT Boxes in pixels (zero padded)
            # [batch, MAX_GT_INSTANCES, (y1, x1, y2, x2)] in image coordinates
            input_gt_boxes = KL.Input(
                shape=[None, 4], name="input_gt_boxes", dtype=tf.float32)
            # Normalize coordinates
            gt_boxes = KL.Lambda(lambda x: norm_boxes_graph(
                x, K.shape(input_image)[1:3]))(input_gt_boxes)
            # 3. GT Masks (zero padded)
            # [batch, height, width, MAX_GT_INSTANCES]
            if config.USE_MINI_MASK:
                input_gt_masks = KL.Input(
                    shape=[config.MINI_MASK_SHAPE[0],
                           config.MINI_MASK_SHAPE[1], None],
                    name="input_gt_masks", dtype=bool)
            else:
                input_gt_masks = KL.Input(
                    shape=[config.IMAGE_SHAPE[0], config.IMAGE_SHAPE[1], None],
                    name="input_gt_masks", dtype=bool)
        elif mode == "inference":
            # Anchors in normalized coordinates
            input_anchors = KL.Input(shape=[None, 4], name="input_anchors")

图片特征提取（Resnet）

没什么好说的，见代码。。。。

# Build the shared convolutional layers.
        # Bottom-up Layers
        # Returns a list of the last layers of each stage, 5 in total.
        # Don't create the thead (stage 5), so we pick the 4th item in the list.
        if callable(config.BACKBONE):
            _, C2, C3, C4, C5 = config.BACKBONE(input_image, stage5=True,
                                                train_bn=config.TRAIN_BN)
        else:
            _, C2, C3, C4, C5 = resnet_graph(input_image, config.BACKBONE,
                                             stage5=True, train_bn=config.TRAIN_BN)

特征融合

# Top-down Layers
        # TODO: add assert to varify feature map sizes match what's in config
        P5 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c5p5')(C5)
        P4 = KL.Add(name="fpn_p4add")([
            KL.UpSampling2D(size=(2, 2), name="fpn_p5upsampled")(P5),
            KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c4p4')(C4)])
        P3 = KL.Add(name="fpn_p3add")([
            KL.UpSampling2D(size=(2, 2), name="fpn_p4upsampled")(P4),
            KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c3p3')(C3)])
        P2 = KL.Add(name="fpn_p2add")([
            KL.UpSampling2D(size=(2, 2), name="fpn_p3upsampled")(P3),
            KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c2p2')(C2)])
        # Attach 3x3 conv to all P layers to get the final feature maps.
        P2 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p2")(P2)
        P3 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p3")(P3)
        P4 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p4")(P4)
        P5 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p5")(P5)
        # P6 is used for the 5th anchor scale in RPN. Generated by
        # subsampling from P5 with stride of 2.
        P6 = KL.MaxPooling2D(pool_size=(1, 1), strides=2, name="fpn_p6")(P5)

        # Note that P6 is used in RPN, but not in the classifier heads.
        rpn_feature_maps = [P2, P3, P4, P5, P6]
        mrcnn_feature_maps = [P2, P3, P4, P5]

产生锚点

# Anchors
        if mode == "training":
            anchors = self.get_anchors(config.IMAGE_SHAPE)
            # Duplicate across the batch dimension because Keras requires it
            # TODO: can this be optimized to avoid duplicating the anchors?
            anchors = np.broadcast_to(anchors, (config.BATCH_SIZE,) + anchors.shape)
            # A hack to get around Keras's bad support for constants
            anchors = KL.Lambda(lambda x: tf.Variable(anchors), name="anchors")(input_image)
        else:
            anchors = input_anchors

构建PRN网络，将之前融合产生的rpn_feature_maps通过该网络，输出为class logits、rpn class、rpn bbox

# RPN Model
        rpn = build_rpn_model(config.RPN_ANCHOR_STRIDE,
                              len(config.RPN_ANCHOR_RATIOS), config.TOP_DOWN_PYRAMID_SIZE)
        # Loop through pyramid layers
        layer_outputs = []  # list of lists
        for p in rpn_feature_maps:
            layer_outputs.append(rpn([p]))
        # Concatenate layer outputs
        # Convert from list of lists of level outputs to list of lists
        # of outputs across levels.
        # e.g. [[a1, b1, c1], [a2, b2, c2]] => [[a1, a2], [b1, b2], [c1, c2]]
        output_names = ["rpn_class_logits", "rpn_class", "rpn_bbox"]
        outputs = list(zip(*layer_outputs))
        outputs = [KL.Concatenate(axis=1, name=n)(list(o))
                   for o, n in zip(outputs, output_names)]

        rpn_class_logits, rpn_class, rpn_bbox = outputs

ProposalLayer

# Generate proposals
        # Proposals are [batch, N, (y1, x1, y2, x2)] in normalized coordinates
        # and zero padded.
        proposal_count = config.POST_NMS_ROIS_TRAINING if mode == "training"\
            else config.POST_NMS_ROIS_INFERENCE
        rpn_rois = ProposalLayer(
            proposal_count=proposal_count,
            nms_threshold=config.RPN_NMS_THRESHOLD,
            name="ROI",
            config=config)([rpn_class, rpn_bbox, anchors])

下面为training或者inference分支

 

三·、代码精读

  • ResNet构建：

 

  • 融合Feature map

 

  • 构建RPN网络

 

  • Generate proposals（ProposalLayer）

 

  • DetectionTargetLayer

 

  • Network Heads

根据是“training”还是“inference”确定分支

  • fpn_classifer_graph

 

  • build_fpn_mask_graph

 

  • Loss

 

  • Model

 

 

 

 

 

 

 

 

 

 

 

 

 

Samanii
关注
专栏目录
Mask RCNN学习笔记
qq_34564612的博客
03-06 1744
原文地址：Mask RCNN 源码：matterport - github（基于Python 3、Keras和TensorFlow） 源码解析：TensorFlow实战：Chapter-8上(Mask R-CNN介绍与实现) Mask RCNN论文简介 Mask R-CNN是基于R-CNN系列、FPN、FCIS等工作之上的，Mask R-CNN的思路很简洁：Faster R-CNN针...
mask rcnn算法原理图_Mask RCNN 学习笔记
weixin_40006965的博客
12-29 415
涉及到的知识点补充：首先，先看两张图(第一张图来源于论文，第二张图来源于网络)，如下：(图1)(图2)图1：可以看出MaskRCNN在有效检测目标的同时输出高质量的实例分割mask图2：可以看出MaskRCNN的网络结构，作为FasterRCNN的扩展1)：用RolAlign代替了RoIPooling，RoIPooling使用取整量化，导致特征图RoI映射回原图RoI时空间不对齐明显，造成误差；R...
Mask R-CNN 学习笔记
蘑菇菌的博客
04-22 860
Mask R-CNN是一个实例分割（Instance segmentation）算法。实例分割（Instance segmentation）和图像分类、目标检测、语义分割（Semantic segmentation）的区别与联系如下： 算法的框架： 由上图可以额看到： MaskR-CNN的网络结构是FasterR-CNN的扩展。 MaskR-CNN在有效检测目标的同时输出高质量的实...
Mask R-CNN学习笔记
默语之声的博客
03-28 220
推荐：机器之心，gluon，mxnet（b站）
【Mask RCNN】论文学习笔记
qq_41502322的博客
05-24 451
文章目录【Mask RCNN】论文学习笔记1 Mask RCNN Architecture2 RPN网络（Region Proposal Network）3 ROI Align4 Class/Box预测和Mask预测5 Loss Function的计算参考 【Mask RCNN】论文学习笔记 本文记录的是本人学习何凯明大神的2017 ICCV Best Paper 【Mask R-CNN】的笔记。 1 Mask RCNN Architecture 简而言之，Mask R-CNN就是在Faster R-CNN
mask-rcnn 学习笔记（图像预处理--图像增强）
代码之路勤为径，算法无涯苦作舟
10-23 5304
  论文：http://cn.arxiv.org/pdf/1703.06870v3   介绍时所采用的Mask-RCNN源码（python版本）来源于GitHub：https://github.com/matterport/Mask_RCNN 1.图像增强概念   上一篇博客讲述了如何进行图像缩放，本篇主要讲解常用的一些数据增强的方法及适用场景。   深度学习是基于大数据的一种方法，数据规模越大，...
mask-rcnn 学习笔记（图像预处理--图像缩放）
代码之路勤为径，算法无涯苦作舟
10-18 4982
  论文：http://cn.arxiv.org/pdf/1703.06870v3   介绍时所采用的Mask-RCNN源码（python版本）来源于GitHub：https://github.com/matterport/Mask_RCNN 1.图像缩放   数据预处理在构建网络模型时非常重要，往往能够决定训练结果，因此需要我们根据网络结构仔细设计输入数据的处理方式。通常数据预处理包含两部分：图...
Mask-RCNN源码阅读笔记
qq_17172467的博客
05-30 3073
阅读了https://blog.csdn.net/u011974639/article/details/78483779?locationNum=9&fps=1这篇博客这篇博客介绍了几个ipynb格式的代码,但没有其他python文件（包括coco源码）解析；这些天研读了一下那些源码，有错误，忘大神指正批评。~~~~~~~~######################### 分隔符 ###...
空间中的语义直线检测_物体检测之FPN及Mask R-CNN
weixin_39548541的博客
12-22 330
个人非常喜欢何凯明的文章，两个原因，1) 简单，2) 好用。对比目前科研届普遍喜欢把问题搞复杂，通过复杂的算法尽量把审稿人搞蒙从而提高论文的接受率的思想，无论是著名的残差网络还是这篇Mask R-CNN，大神的论文尽量遵循著名的奥卡姆剃刀原理：即在所有能解决问题的算法中，选择最简单的那个。霍金在出版《时间简史》中说“书里每多一个数学公式，你的书将会少一半读者”。Mask R-CNN更是过分到一个数...
Mask R-CNN
10-19
简要概述实例分割任务，从语义分割FCN切入，详细讲解了mask r-cnn框架的各个部分，包括FPN，ROIAlign和mask分支
论文笔记-Mask R-CNN
Liven_Zhu的博客
07-13 489
本论文由FAIR的Kaiming He等联合创作。 1. 介绍 Mask R-CNN可以同时执行目标检测和实例分割任务，下图是它的架构： Mask R-CNN是在Faster R-CNN上扩展出了一个并行分支，用来进行实力分割任务，原分支继续执行边界框预测任务。用来进行实例分割的分支就是一个作用于每一个ROI的简单的FCN。 2. 相关工作 R-CNN R-CNN在每一张图...
计算机视觉——Mask R-CNN实例分割原理与算法应用
最新发布
知来者逆的博客
04-13 3398
Mask R-CNN 适用于复杂任务，因为它既能进行像素级分割，又能进行物体定位。该方法可同时执行检测、分割和关键点估算，在各种应用中表现出色。在人工智能领域，它是对物体识别和分割的发展做出贡献的模型范例，在现实世界的计算机视觉任务中表现出色。
【MaskRCNN】源码系列一：train数据处理三
mjiansun的专栏
10-11 777
目录 data_generator（接着数据处理二，data_generator中还有一部分没讲） build_rpn_targets data_generator（接着数据处理二，data_generator中还有一部分没讲） build_rpn_targets rpn_match, rpn_bbox = build_rpn_targets(image.sha...
mask rcnn训练自己的数据集
热门推荐
qq_29462849的博客
07-13 12万+
前言 最近迷上了mask rcnn，也是由于自己工作需要吧，特意研究了其源代码，并基于自己的数据进行训练~ 本博客参考https://blog.csdn.net/disiwei1012/article/details/79928679#commentsedit 实验目的 哎~说多了都是泪，谁让我是工科生呢？只能检测工件了。。。做不了高大上的东西了，哈哈 主要参考及工具...
用Mask-RCNN训练自定义大小的数据集
简简单单
08-17 7873
Mask-RCNN自动获取训练集中图像的长度和宽度，然后用于训练。 一、目前情况 用Mask-RCNN训练自己的数据集时，需要制定图片的长度和宽度，即 IMAGE_MIN_DIM = 448 IMAGE_MAX_DIM = 640 而在Mask_RCNN/mrcnn目录下model.py文件中第1815行到1819行代码 h, w = config.IMAGE_SH...
学习mask rcnn，day4（fpn层与特征提取框）
huhu1456的博客
03-23 205
【代码】学习mask rcnn，day4。
Mask RCNN 源代码解析 (1) - 整体思路
hnshahao的专栏
07-27 2万+
Mask RCNN 属于 RCNN这一系列的应该是比较最终的版本，融合多种算法的思想，这里对Mask RCNN从源代码进行解析，主要写几篇文章，一个总结大的思路，其他文章整理细节。 这篇文章为了简单，主要从前向传播和后向传播，分两部分进行介绍，主要以数据的流动为主线，分析流程图和核心函数。主要参考的代码是Pytorch的mask RCNN版本， 这个版本的Mask RCNN代码只支持一个图片处理...
Mask RCNN网络源码解读（Ⅲ） --- FCN网络
qq_41694024的博客
01-09 890
简单介绍了一下FCN网络
mask rcnn源码解析
05-27
Mask R-CNN 是一种用于图像分割的深度学习模型，是 Faster R-CNN 的扩展版本。下面是 Mask R-CNN 的源码解析： 1. 数据加载和预处理 在 Mask R-CNN 的源码中，数据加载和预处理是通过继承 PyTorch 中的 Dataset 和 DataLoader 实现的。在加载数据时，会对图像进行裁剪、缩放和归一化等预处理操作。 2. 网络结构 Mask R-CNN 网络结构主要是基于 Faster R-CNN，将 Faster R-CNN 的 RPN 网络和 RoI Pooling 网络替换成了 RPN 网络和 RoI Align 网络。RoI Align 网络可以更精确的对 RoI 区域进行划分，从而提高了模型的分割精度。 3. 损失函数 Mask R-CNN 的损失函数主要包括分类损失、回归损失和掩膜分割损失。分类损失和回归损失与 Faster R-CNN 相同，掩膜分割损失是基于交叉熵损失函数和二进制交叉熵损失函数实现的。 4. 训练和测试 在训练过程中，Mask R-CNN 采用了分阶段训练的策略，即首先训练 RPN 网络，然后训练 Faster R-CNN 网络，最后训练掩膜分割网络。在测试过程中，Mask R-CNN 通过对 RoI 区域应用掩膜分割网络，生成掩膜分割结果。 以上就是 Mask R-CNN 的源码解析，通过对源码的分析，可以更好地理解 Mask R-CNN 的原理和实现方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值