Mask rcnn 源码学习笔记

最新推荐文章于 2024-04-13 09:38:34 发布
最新推荐文章于 2024-04-13 09:38:34 发布
阅读量649 收藏 3
点赞数
分类专栏： 神经网络 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyx0708/article/details/85078876
版权

一、概述

注：本文章只作为自己在阅读mask rcnn时的笔记存档。

目录

一、概述

二、模块结构

三、代码解析

模型输入变量构建

图片特征提取（Resnet）

特征融合

产生锚点

三·、代码精读

ResNet构建：

融合Feature map

构建RPN网络

Generate proposals（ProposalLayer）

DetectionTargetLayer

Network Heads

fpn_classifer_graph

build_fpn_mask_graph

Loss

Model

本源码及训练集路径在文章末尾有链接。

首先我们需要弄清楚Mask rcnn是一个什么样的算法，这样才能明白在什么样的领域使用会比较好。

  1. Mask rcnn可以算作一种集成的算法（我的理解：集成算法回事未来神经网络的趋势）。

  2. Mask rcnn是一个实例分割（Instance segmentation）算法。

  3. 可以应用的场景有：目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务

实例分割，目标检测和语义分割的区别：

通常意义上的目标分割指的是语义分割

实例分割是一个从目标分割领域独立出来的一个小领域

实例分割需要在语义分割的基础上对同类物体进行更精细的分割

上图引用自：https://blog.csdn.net/WZZ18191171661/article/details/79453780

二、模块结构

注：由于mask rcnn是一个多模型的集成，所以下面只说明抽象模块

  1. 卷积网络提出图像特征，作者源码使用的是resnet。
  2. 模块1中的分层特征融合
  3. 根据feature map得到anchors
  4. 通过RPN网络得到输出框体（回归边框和区分前景和背景）
  5. 根据是training还是reference分为两支，需要注意ROIAlign的使用（就是双线性插值）
  6. training分支：fpn classifier graph 和 fpn mask graph 分别训练
  7. reference分支：先fpn classifier graph 再 fpn mask graph

三、代码解析

断言判断输入模型名称是否合法

assert mode in ['training', 'inference']

检查配置文件的IMAGE_SHAPE中的宽高。（图像会resize为配置的大小，这个大小通过resnet的池化层时需要一定的限制）

 # Image size must be dividable by 2 multiple times
        h, w = config.IMAGE_SHAPE[:2]
        if h / 2**6 != int(h / 2**6) or w / 2**6 != int(w / 2**6):
            raise Exception("Image size must be dividable by 2 at least 6 times "
                            "to avoid fractions when downscaling and upscaling."
                            "For example, use 256, 320, 384, 448, 512, ... etc. ")

模型输入变量构建

training和inference两个模式都有的输入为图片输入

# Inputs
        input_image = KL.Input(
            shape=[None, None, 3], name="input_image")
        input_image_meta = KL.Input(shape=[config.IMAGE_META_SIZE],
                                    name="input_image_meta")
        if mode == "training":
            # RPN GT
            input_rpn_match = KL.Input(
                shape=[None, 1], name="input_rpn_match", dtype=tf.int32)
            input_rpn_bbox = KL.Input(
                shape=[None, 4], name="input_rpn_bbox", dtype=tf.float32)

            # Detection GT (class IDs, bounding boxes, and masks)
            # 1. GT Class IDs (zero padded)
            input_gt_class_ids = KL.Input(
                shape=[None], name="input_gt_class_ids", dtype=tf.int32)
            # 2. GT Boxes in pixels (zero padded)
            # [batch, MAX_GT_INSTANCES, (y1, x1, y2, x2)] in image coordinates
            input_gt_boxes = KL.Input(
                shape=[None, 4], name="input_gt_boxes", dtype=tf.float32)
            # Normalize coordinates
            gt_boxes = KL.Lambda(lambda x: norm_boxes_graph(
                x, K.shape(input_image)[1:3]))(input_gt_boxes)
            # 3. GT Masks (zero padded)
            # [batch, height, width, MAX_GT_INSTANCES]
            if config.USE_MINI_MASK:
                input_gt_masks = KL.Input(
                    shape=[config.MINI_MASK_SHAPE[0],
                           config.MINI_MASK_SHAPE[1], None],
                    name="input_gt_masks", dtype=bool)
            else:
                input_gt_masks = KL.Input(
                    shape=[config.IMAGE_SHAPE[0], config.IMAGE_SHAPE[1], None],
                    name="input_gt_masks", dtype=bool)
        elif mode == "inference":
            # Anchors in normalized coordinates
            input_anchors = KL.Input(shape=[None, 4], name="input_anchors")

图片特征提取（Resnet）

没什么好说的，见代码。。。。

# Build the shared convolutional layers.
        # Bottom-up Layers
        # Returns a list of the last layers of each stage, 5 in total.
        # Don't create the thead (stage 5), so we pick the 4th item in the list.
        if callable(config.BACKBONE):
            _, C2, C3, C4, C5 = config.BACKBONE(input_image, stage5=True,
                                                train_bn=config.TRAIN_BN)
        else:
            _, C2, C3, C4, C5 = resnet_graph(input_image, config.BACKBONE,
                                             stage5=True, train_bn=config.TRAIN_BN)

特征融合

# Top-down Layers
        # TODO: add assert to varify feature map sizes match what's in config
        P5 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c5p5')(C5)
        P4 = KL.Add(name="fpn_p4add")([
            KL.UpSampling2D(size=(2, 2), name="fpn_p5upsampled")(P5),
            KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c4p4')(C4)])
        P3 = KL.Add(name="fpn_p3add")([
            KL.UpSampling2D(size=(2, 2), name="fpn_p4upsampled")(P4),
            KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c3p3')(C3)])
        P2 = KL.Add(name="fpn_p2add")([
            KL.UpSampling2D(size=(2, 2), name="fpn_p3upsampled")(P3),
            KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (1, 1), name='fpn_c2p2')(C2)])
        # Attach 3x3 conv to all P layers to get the final feature maps.
        P2 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p2")(P2)
        P3 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p3")(P3)
        P4 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p4")(P4)
        P5 = KL.Conv2D(config.TOP_DOWN_PYRAMID_SIZE, (3, 3), padding="SAME", name="fpn_p5")(P5)
        # P6 is used for the 5th anchor scale in RPN. Generated by
        # subsampling from P5 with stride of 2.
        P6 = KL.MaxPooling2D(pool_size=(1, 1), strides=2, name="fpn_p6")(P5)

        # Note that P6 is used in RPN, but not in the classifier heads.
        rpn_feature_maps = [P2, P3, P4, P5, P6]
        mrcnn_feature_maps = [P2, P3, P4, P5]

产生锚点

# Anchors
        if mode == "training":
            anchors = self.get_anchors(config.IMAGE_SHAPE)
            # Duplicate across the batch dimension because Keras requires it
            # TODO: can this be optimized to avoid duplicating the anchors?
            anchors = np.broadcast_to(anchors, (config.BATCH_SIZE,) + anchors.shape)
            # A hack to get around Keras's bad support for constants
            anchors = KL.Lambda(lambda x: tf.Variable(anchors), name="anchors")(input_image)
        else:
            anchors = input_anchors

构建PRN网络，将之前融合产生的rpn_feature_maps通过该网络，输出为class logits、rpn class、rpn bbox

# RPN Model
        rpn = build_rpn_model(config.RPN_ANCHOR_STRIDE,
                              len(config.RPN_ANCHOR_RATIOS), config.TOP_DOWN_PYRAMID_SIZE)
        # Loop through pyramid layers
        layer_outputs = []  # list of lists
        for p in rpn_feature_maps:
            layer_outputs.append(rpn([p]))
        # Concatenate layer outputs
        # Convert from list of lists of level outputs to list of lists
        # of outputs across levels.
        # e.g. [[a1, b1, c1], [a2, b2, c2]] => [[a1, a2], [b1, b2], [c1, c2]]
        output_names = ["rpn_class_logits", "rpn_class", "rpn_bbox"]
        outputs = list(zip(*layer_outputs))
        outputs = [KL.Concatenate(axis=1, name=n)(list(o))
                   for o, n in zip(outputs, output_names)]

        rpn_class_logits, rpn_class, rpn_bbox = outputs

ProposalLayer

# Generate proposals
        # Proposals are [batch, N, (y1, x1, y2, x2)] in normalized coordinates
        # and zero padded.
        proposal_count = config.POST_NMS_ROIS_TRAINING if mode == "training"\
            else config.POST_NMS_ROIS_INFERENCE
        rpn_rois = ProposalLayer(
            proposal_count=proposal_count,
            nms_threshold=config.RPN_NMS_THRESHOLD,
            name="ROI",
            config=config)([rpn_class, rpn_bbox, anchors])

下面为training或者inference分支

 

三·、代码精读

  • ResNet构建：

 

  • 融合Feature map

 

  • 构建RPN网络

 

  • Generate proposals（ProposalLayer）

 

  • DetectionTargetLayer

 

  • Network Heads

根据是“training”还是“inference”确定分支

  • fpn_classifer_graph

 

  • build_fpn_mask_graph

 

  • Loss

 

  • Model

 

 

 

 

 

 

 

 

 

 

 

 

 

Samanii
关注
专栏目录
Mask RCNN学习笔记
qq_34564612的博客
03-06 1744
原文地址：Mask RCNN 源码：matterport - github（基于Python 3、Keras和TensorFlow） 源码解析：TensorFlow实战：Chapter-8上(Mask R-CNN介绍与实现) Mask RCNN论文简介 Mask R-CNN是基于R-CNN系列、FPN、FCIS等工作之上的，Mask R-CNN的思路很简洁：Faster R-CNN针...
mask rcnn算法原理图_Mask RCNN 学习笔记
weixin_40006965的博客
12-29 415
涉及到的知识点补充：首先，先看两张图(第一张图来源于论文，第二张图来源于网络)，如下：(图1)(图2)图1：可以看出MaskRCNN在有效检测目标的同时输出高质量的实例分割mask图2：可以看出MaskRCNN的网络结构，作为FasterRCNN的扩展1)：用RolAlign代替了RoIPooling，RoIPooling使用取整量化，导致特征图RoI映射回原图RoI时空间不对齐明显，造成误差；R...
Mask R-CNN 学习笔记
蘑菇菌的博客
04-22 860
Mask R-CNN是一个实例分割（Instance segmentation）算法。实例分割（Instance segmentation）和图像分类、目标检测、语义分割（Semantic segmentation）的区别与联系如下： 算法的框架： 由上图可以额看到： MaskR-CNN的网络结构是FasterR-CNN的扩展。 MaskR-CNN在有效检测目标的同时输出高质量的实...
Mask R-CNN学习笔记
Leon_____的博客
03-19 4143
1 概览 来源：https://www.bilibili.com/video/BV1qA411w7Zg?p=2&share_source=copy_web 参考：一文读懂Faster RCNN - 知乎 (zhihu.com) 参考：令人拍案称奇的Mask RCNN - 知乎 (zhihu.com) 2 CNN BackBone ​ · 作用：对输入的图像进行初步的特征提取，最终将输出5个不同尺度的特征图 ​ · 采用架构：ResNet + FPN ​ · Why： ​ ① ResNet的
【Mask RCNN】论文学习笔记
qq_41502322的博客
05-24 450
文章目录【Mask RCNN】论文学习笔记1 Mask RCNN Architecture2 RPN网络（Region Proposal Network）3 ROI Align4 Class/Box预测和Mask预测5 Loss Function的计算参考 【Mask RCNN】论文学习笔记 本文记录的是本人学习何凯明大神的2017 ICCV Best Paper 【Mask R-CNN】的笔记。 1 Mask RCNN Architecture 简而言之，Mask R-CNN就是在Faster R-CNN
mask-rcnn 学习笔记（图像预处理--图像增强）
代码之路勤为径，算法无涯苦作舟
10-23 5303
  论文：http://cn.arxiv.org/pdf/1703.06870v3   介绍时所采用的Mask-RCNN源码（python版本）来源于GitHub：https://github.com/matterport/Mask_RCNN 1.图像增强概念   上一篇博客讲述了如何进行图像缩放，本篇主要讲解常用的一些数据增强的方法及适用场景。   深度学习是基于大数据的一种方法，数据规模越大，...
mask-rcnn 学习笔记（图像预处理--图像缩放）
代码之路勤为径，算法无涯苦作舟
10-18 4982
  论文：http://cn.arxiv.org/pdf/1703.06870v3   介绍时所采用的Mask-RCNN源码（python版本）来源于GitHub：https://github.com/matterport/Mask_RCNN 1.图像缩放   数据预处理在构建网络模型时非常重要，往往能够决定训练结果，因此需要我们根据网络结构仔细设计输入数据的处理方式。通常数据预处理包含两部分：图...
Mask-RCNN源码阅读笔记
qq_17172467的博客
05-30 3072
阅读了https://blog.csdn.net/u011974639/article/details/78483779?locationNum=9&fps=1这篇博客这篇博客介绍了几个ipynb格式的代码,但没有其他python文件（包括coco源码）解析；这些天研读了一下那些源码，有错误，忘大神指正批评。~~~~~~~~######################### 分隔符 ###...
空间中的语义直线检测_物体检测之FPN及Mask R-CNN
weixin_39548541的博客
12-22 330
个人非常喜欢何凯明的文章，两个原因，1) 简单，2) 好用。对比目前科研届普遍喜欢把问题搞复杂，通过复杂的算法尽量把审稿人搞蒙从而提高论文的接受率的思想，无论是著名的残差网络还是这篇Mask R-CNN，大神的论文尽量遵循著名的奥卡姆剃刀原理：即在所有能解决问题的算法中，选择最简单的那个。霍金在出版《时间简史》中说“书里每多一个数学公式，你的书将会少一半读者”。Mask R-CNN更是过分到一个数...
Mask R-CNN
10-19
简要概述实例分割任务，从语义分割FCN切入，详细讲解了mask r-cnn框架的各个部分，包括FPN，ROIAlign和mask分支
论文笔记-Mask R-CNN
Liven_Zhu的博客
07-13 489
本论文由FAIR的Kaiming He等联合创作。 1. 介绍 Mask R-CNN可以同时执行目标检测和实例分割任务，下图是它的架构： Mask R-CNN是在Faster R-CNN上扩展出了一个并行分支，用来进行实力分割任务，原分支继续执行边界框预测任务。用来进行实例分割的分支就是一个作用于每一个ROI的简单的FCN。 2. 相关工作 R-CNN R-CNN在每一张图...
计算机视觉——Mask R-CNN实例分割原理与算法应用
最新发布
知来者逆的博客
04-13 3378
Mask R-CNN 适用于复杂任务，因为它既能进行像素级分割，又能进行物体定位。该方法可同时执行检测、分割和关键点估算，在各种应用中表现出色。在人工智能领域，它是对物体识别和分割的发展做出贡献的模型范例，在现实世界的计算机视觉任务中表现出色。
【MaskRCNN】源码系列一：train数据处理三
mjiansun的专栏
10-11 777
目录 data_generator（接着数据处理二，data_generator中还有一部分没讲） build_rpn_targets data_generator（接着数据处理二，data_generator中还有一部分没讲） build_rpn_targets rpn_match, rpn_bbox = build_rpn_targets(image.sha...
mask rcnn训练自己的数据集
热门推荐
qq_29462849的博客
07-13 12万+
前言 最近迷上了mask rcnn，也是由于自己工作需要吧，特意研究了其源代码，并基于自己的数据进行训练~ 本博客参考https://blog.csdn.net/disiwei1012/article/details/79928679#commentsedit 实验目的 哎~说多了都是泪，谁让我是工科生呢？只能检测工件了。。。做不了高大上的东西了，哈哈 主要参考及工具...
Mask RCNN 源代码解析 (1) - 整体思路
hnshahao的专栏
07-27 2万+
Mask RCNN 属于 RCNN这一系列的应该是比较最终的版本，融合多种算法的思想，这里对Mask RCNN从源代码进行解析，主要写几篇文章，一个总结大的思路，其他文章整理细节。 这篇文章为了简单，主要从前向传播和后向传播，分两部分进行介绍，主要以数据的流动为主线，分析流程图和核心函数。主要参考的代码是Pytorch的mask RCNN版本， 这个版本的Mask RCNN代码只支持一个图片处理...
Mask RCNN网络源码解读（Ⅲ） --- FCN网络
qq_41694024的博客
01-09 889
简单介绍了一下FCN网络
Mask RCNN使用及实现详解（5）
qq_39210987的博客
08-31 1832
模型的输入与数据加载 1、 模型输入 从模型的训练与预测中可以看到实际创建的模型是一个名为MaskRCNN的类相关代码片段如下： 训练创建模型的代码 预测创建模型的代码 这个类的初始化方法如下： def __init__(self, mode, config, model_dir): """ mode: Either "training" or "inference" config: A Sub-class of the Config class model_dir: D
keras Mask Rcnn代码走读（一）
qq_43258953的博客
12-04 512
https://github.com/matterport/Mask_RCNN 主要就是model.py，其他都是辅助模块。 本次先从class MaskRCNN()类的build建模函数讲起 image 在特征提取网络中，进行6次特征缩小操作C1,C2,C3,C4,C5其中C1为4倍率缩小，其他为2倍率缩小，total 64倍缩小，所以网络要求输入的图像的尺寸为64的整数倍，默认输入为102...
mask rcnn源码解析
05-27
Mask R-CNN 是一种用于图像分割的深度学习模型，是 Faster R-CNN 的扩展版本。下面是 Mask R-CNN 的源码解析： 1. 数据加载和预处理 在 Mask R-CNN 的源码中，数据加载和预处理是通过继承 PyTorch 中的 Dataset 和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值