MaskRCNN源码解析1：整体结构概述

最新推荐文章于 2023-08-23 15:34:52 发布
最新推荐文章于 2023-08-23 15:34:52 发布
阅读量5.8k 收藏 72
点赞数 21
分类专栏： # 目标检测算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxlsxl119/article/details/103317293
版权

MaskRCNN源码解析1：整体结构概述

MaskRCNN源码解析2：特征图与anchors生成

MaskRCNN源码解析3：RPN、ProposalLayer、DetectionTargetLayer

MaskRCNN源码解析4-0：ROI Pooling 与 ROI Align理论

MaskRCNN源码解析4：头网络(Networks Heads)解析

MaskRCNN源码解析5：损失部分解析

 

 

目录

一， MaskRCNN概述：

二，代码整体解析：

1，从下到上层

2，从上到下层与横向连接

3，RPN

4，ProposalLayer

5，DetectionTargetLayer

6，头网络 Network Heads

7，计算各部分的损失

三，进一步解析：

A)，特征图与anchors生成

B)，RPN、ProposalLayer、DetectionTargetLayer

C)，头网络解析

D)，损失部分解析

一， MaskRCNN概述：

       Mask R-CNN是一个小巧、灵活的通用对象实例分割框架（object instance segmentation）。它不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。它在Faster R-CNN[1]基础之上进行扩展，并行地在bounding box recognition分支上添加一个用于预测目标掩模（object mask）的新分支。该网络还很容易扩展到其他任务中，比如估计人的姿势，也就是关键点识别（person keypoint detection）。该框架在COCO的一些列挑战任务重都取得了最好的结果，包括实例分割（instance segmentation）、候选框目标检测（bounding-box object detection）和人关键点检测（person keypoint detection）。

参考文章：

Mask RCNN 学习笔记

MaskRCNN源码解读

令人拍案称奇的Mask RCNN

论文笔记：Mask R-CNN

Mask R-CNN个人理解

解析源码地址：

https://github.com/matterport/Mask_RCNN

二，代码整体解析：

解析的该代码粗略估计有5000-6000行，相对于python来说代码量还是很庞大的。好在该代码封装的很好，没有冗余的结构，整体逻辑非常清晰，只要有耐心，还是能看懂的。

下面这张图是MaskRCNN算法结构图：

 

下面这张图是我根据代码画出来的（class MaskRCNN()）代码逻辑结构图，有些地方确实不太好用简洁的方式表示，只把它当作大概的结构图看就行。

从上图可以看到，代码共分了7个部分，分别包括：

  • 1，从下到上层
  • 2，从上到下层与横向连接,
  • 3，RPN
  • 4，ProposalLayer
  • 5，DetectionTargetLayer
  • 6，头网络 Network Heads
  • 7，计算各部分的损失

下面简要说一下各个部分分别完成了什么功能：

1，从下到上层

该层调用 BACKBONE = "resnet101"或者  BACKBONE = "resnet50"完成从原图到[C1, C2, C3, C4, C5] 5个特征图的操作。

该层的代码和逻辑关系如下图所示：

2，从上到下层与横向连接

基于从下到上得到的结果[C1, C2, C3, C4, C5]，采用从上到下与横向连接的方式得到后面用到的特征图。其中：

P6由P5经过MaxPool而来，

P5由C5通过（1,1）的卷积核卷积而来，

P4由P5上采样结果与C4通过（1,1）的卷积核卷积结果相加得到，P4再由P4通过（3,3）的卷积核得到(目的是消除上采样带来的混叠效应）

P3由P4上采样结果与C3通过（1,1）的卷积核卷积结果相加得到，P3再由P3通过（3,3）的卷积核得到(目的是消除上采样带来的混叠效应）

P2由P3上采样结果与C2通过（1,1）的卷积核卷积结果相加得到，P2再由P2通过（3,3）的卷积核得到(目的是消除上采样带来的混叠效应）

最后由[P2,P3,P4,P5,P6]组成rpn_feature_maps用于RPN网络中，由[P2,P3,P4,P5]组成mrcnn_feature_maps用于后续的操作。

代码中在自下而上层后，RPN网络前会生成anchors:

anchors = input_anchors  # 261888=256*256*3(P2)+128*128*3(P3)+64*64*3(P4)+32*32*3(P3)+16*16*3

3，RPN

该部分主要根据上面的到的特征图rpn_feature_maps=[P2,P3,P4,P5,P6]生成以下数据：

# rpn_class_logits：[batch_size，H * W * anchors_per_location，2] anchors分类器logits（在softmax之前）
# rpn_probs：[batch_size，H * W * anchors_per_location，2] anchors分类器概率。
# rpn_bbox：[batch_size，H * W * anchors_per_location，（dy，dx，log（dh），log（dw））]  anchors的坐标偏移量

4，ProposalLayer

该部分 将第3步RPN网路的输出应用到第2步得到的anchors，

# ProposalLayer的作用主要
# 1. 根据rpn网络，获取score靠前的前6000个anchor
# 2. 利用rpn_bbox对anchors进行修正
# 3. 舍弃掉修正后边框超过图片大小的anchor，由于我们的anchor的坐标的大小是归一化的，只要坐标不超过0 1区间即可
# 4. 利用非极大抑制的方法获得最后的2000个anchor

5，DetectionTargetLayer

该部分将第5步得到的结果进行再次筛选，得到最终用于训练的200个正负样本。

# DetectionTargetLayer的输入包含了：target_rois, input_gt_class_ids, gt_boxes, input_gt_masks。
# 其中target_rois是第5步ProposalLayer输出的结果。
# 首先，计算target_rois中的每一个rois和哪一个真实的框gt_boxes iou值，
# 如果最大的iou大于0.5，则被认为是正样本，负样本是iou小于0.5并且和crowd box相交不大的anchor，
# 选择出了正负样本，还要保证样本的均衡性，具体可以在配置文件中进行配置。
# 最后计算了正样本中的anchor和哪一个真实的框最接近，用真实的框和anchor计算出偏移值，
# 并且将mask的大小resize成28 * 28 的（我猜测利用的是双线性差值的方式，因为mask的值不是0就是1，0是背景，一是前景）
# 这些都是后面的分类和mask网络要用到的真实的值

6，头网络 Network Heads

该部分包括3个分支，分别是 分类、回归操作、mask操作。对应算法结构图的以下部分。

7，计算各部分的损失

# maskrcnn中总共有五个损失函数，分别是rpn网络的两个损失，分类的两个损失，以及mask分支的损失函数。
# 前四个损失函数与fasterrcnn的损失函数一样，最后的mask损失函数的采用的是mask分支对于每个RoI有K*m^2维度的输出。
# k个（类别数）分辨率为m * m的二值mask。 
# 因此作者利用了aper - pixelsigmoid，并且定义Lmask为平均二值交叉熵损失（the average binary cross - entropy loss）. 
# 对于一个属于第k个类别的RoI， Lmask仅仅考虑第k个mask（其他的掩模输入不会贡献到损失函数中）。
# 这样的定义会允许对每个类别都会生成掩模，并且不会存在类间竞争。

三，进一步解析：

下面会对各个部分的代码进行解析，不过拆成7个部分有点太碎了点，所以代码解析将按下面4块进行：

A)，特征图与anchors生成

  • 1，从下到上层
  • 2，从上到下层与横向连接,anchors生成

B)，RPN、ProposalLayer、DetectionTargetLayer

  • 3，RPN
  • 4，ProposalLayer
  • 5，DetectionTargetLayer

C)，头网络解析

  • 6，头网络 Network Heads

D)，损失部分解析

  • 7，计算各部分的损失

 

业余狙击手19
关注
  • 21
    点赞
  • 踩
  • 72
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MaskRCNN:maskrcnn原始码解析与修改
03-23
介绍 该代码用于从学习maskrcnn算法。 我对此做了非常详细的代码注释。 并且我创建了maskrcnn的ros节点来抓取机器人。 当前过程 进行详细的代码注释 写一个maskrcnn的ros节点 编写数据增强python脚本以生成更多数据 文件功能 mrcnn文件：maskrcnn的核心算法 data_aug.py：数据扩充 train_segment.py：模型训练和测试 MaskRCNNTrainGraph.mmap：maskrcnn算法流程图 segment_node.py：maskrcnn推断的ros节点 安装 您应该安装以下库： numpy scipy Pillow cython matplotlib scikit-image tensorflow>=1.3.0 keras>=2.0.8 opencv-python h5py imgaug IPython 模型 预训练
Mask R-CNN详解（图文并茂）
weixin_45074568的博客
03-09 2万+
Mask R-CNN Mask R-CNN是一个实例分割（Instance segmentation）算法，主要是在目标检测的基础上再进行分割。Mask R-CNN算法主要是Faster R-CNN+FCN，更具体一点就是ResNeXt+RPN+RoI Align+Fast R-CNN+FCN，如下图所示。 Mask R-CNN的创新点有： 1 .Backbone：ResNeXt-101+FPN 2. RoI Align替换RoI Pooling Mask R-CNN算法步骤： 1.输入一张图片，进行
mask_rcnn_pro:kerea and tensorflow 实现 mask rcnn 实例分割
05-12
Mask R-CNN for Object Detection and Segmentation 本项目使用 python3, keras 和 tensorflow 相结合。本模型基于 FPN 网络 和 resNet101 背骨，对图像中的每个目标生成 bounding boxes 和 分割 masks。 The repository includes: Source code of Mask R-CNN built on FPN and ResNet101. Training code for MS COCO Pre-trained weights for MS COCO Jupyter notebooks to visualize the detection pipeline at every step ParallelModel class for multi-GPU trainin
mask rcnn详细结构图
08-04
论文： Learning to segment to every thing 模型结构图
maskrcnn_pytorch：maskrcnn pytorch实现
02-21
Mask RCNN：Pytorch实现 使用Pytorch框架屏蔽RCNN实现。 banchmark： : 要求 Python> = 3.6。 PyTorch> = 1.5，并且Torchvision与PyTorch安装匹配。 执照 该存储库是根据MIT许可发布的。
最简单的CNN卷积神经网络讲解，附源码可运行
01-15
带教程完整的cnn 运行源码，最简单的CNN
mask rcnn 超详细代码解读（一）
Cleo_Gao的博客
03-23 1万+
mask r-cnn 代码解读（一） 文章目录1 代码架构2 model.py 的结构3 train过程代码解析3.1 Resnet Graph3.2 Region Proposal Network (RPN)3.3 Proposal Layer 本系列将对 mask r-cnn 的代码做非常详细的讲解。默认教程使用者已经对mask r-cnn的结构基本了解，因此不对原论文做解析、最好是读者手头有完整的mrcnn代码（没有也没事，会贴），对照着代码和博客来理解。 本文将通过解析代码再次梳理网络结构中模糊的.
Mask R-CNN详解
热门推荐
WZZ18191171661的博客
03-06 18万+
论文题目：Mask R-CNN 论文链接：论文链接 论文代码：Facebook代码链接；Tensorflow版本代码链接；Keras and TensorFlow版本代码链接；MxNet版本代码链接 一、Mask R-CNN是什么，可以做哪些任务？ 图1 Mask R-CNN整体架构 Mask R-CNN是一个实例分割（Instance segmentation）算法，可以用...
Mask RCNN 源代码解析 (1) - 整体思路
hnshahao的专栏
07-27 2万+
Mask RCNN 属于 RCNN这一系列的应该是比较最终的版本，融合多种算法的思想，这里对Mask RCNN从源代码进行解析，主要写几篇文章，一个总结大的思路，其他文章整理细节。 这篇文章为了简单，主要从前向传播和后向传播，分两部分进行介绍，主要以数据的流动为主线，分析流程图和核心函数。主要参考的代码是Pytorch的mask RCNN版本， 这个版本的Mask RCNN代码只支持一个图片处理...
【实例分割】（一）Mask R-CNN详细介绍带python代码
最新发布
向上生长的程序媛的博客
08-23 980
实例分割、语义分割和目标检测都属于计算机视觉中的重要任务，但它们有着不同的应用场景和解决问题的方式。实例分割：实例分割是指对于一张图片中的每个物体，将其分割出来并打上不同的标记。即在像素级别上对每个物体进行标记，区分出不同的实体。常见的实例分割算法有Mask R-CNN等。语义分割：语义分割是指在像素级别上将一幅图像进行分类，将图片中每个像素分类到对应物体或背景中。常见的语义分割算法有FCN、U-Net、DeepLab等。目标检测：目标检测是指在图像中寻找不同的物体，并确定它们的位置和大小。
基于TensorFlow的Faster_R-CNN源码
08-15
基于TensorFlow的Faster R-CNN源码 目录结构 ----data ----experiments ----faster_rcnn ----libs
MaskRCNN的实现
01-27
本文来自于csdn，文章主要介绍了Mask RCNN整体实现框架、FPN和RPN的对应关系以及分类和bbox回归等相关内容。 要充分理解maskRCNN建议先通读RCN的系列论文了解主题脉络,然后参考代码实现了解细节。
maskrcnn loss_Mask RCNN官方源码解读（网络结构)
weixin_39731682的博客
11-19 350
最近在做自然场景数字检测识别，将Mask RCNN看了下，通过源码巩固了遍。这篇文章将着重网络结构实现部分。对部分变量名称进行了微调，例如具有不同值的同变量名delat 变成了delta1,delta2。源码项目地址具体原理部分参照：令人拍案称奇的Mask RCNN。本文默认读者对Mask RCNN有一定的基础了解，旨在对源码一些难点尤其是原理未涉及到的细节部分进行一个解释。FPN(Feature...
MaskRCNN源码解析2：特征图与anchors生成
01-01 3486
MaskRCNN源码解析1：整体结构概述 MaskRCNN源码解析2：特征图与anchors生成 MaskRCNN源码解析3：RPN、ProposalLayer、DetectionTargetLayer MaskRCNN源码解析4-0：ROI Pooling 与 ROI Align理论 MaskRCNN源码解析4：头网络(Networks Heads)解析 MaskRCNN源码解析5：损...
Mask RCNN源码解读
Fantastic
01-06 2499
Mask RCNN源码解读
Mask RCNN pytorch官方代码解读
Abraham Ben
02-10 5037
1. 数据预处理 1.1 transform 将图片进行缩放。对应的box和mask也进行缩放。box缩放时直接将坐标乘以相应的倍数。图像缩放采用bilinear方式，而mask缩放时采用nearest方式。 同时可能需要将image使用padding方式扩大，即: new_img = np.zeros((3, new_x, new_y)) new_img[:, :x_max, :y_max] = old_img 对应GenerilizedRCNN.py中的 images, targets = self.t
机器学习-6：DeepLN之CNN源码
MachineLP的专栏
01-09 3948
你要的答案或许都在这里：小鹏的博客目录 我想说： 可能一直关注我更新文章的童鞋，可能看出我的布局，基本是先搭一个框架然后挖坑去填，这可能是我做事情一个优点，当接触到新事物总是能快速建立一个框架，然后去慢慢填，可能刚开始建立的框架是错的，但是没关系，后面随着认知的加深慢慢去改，这可能与我数学比较好有点关系（又开始了...对你无语！！！），跟着清华宁向东老师学习管理学半年，感觉在宁老师
maskrcnn简单解析
deep_love1314的博客
07-08 4636
maskrcnn
目标检测算法-YOLOV8解析（附论文和源码）
06-30 1万+
目标检测算法-YOLOV8解析（附论文和源码）
mask rcnn源码解析
05-27
Mask R-CNN 是一种用于图像分割的深度学习模型，是 Faster R-CNN 的扩展版本。下面是 Mask R-CNN 的源码解析： 1. 数据加载和预处理 在 Mask R-CNN 的源码中，数据加载和预处理是通过继承 PyTorch 中的 Dataset 和 DataLoader 实现的。在加载数据时，会对图像进行裁剪、缩放和归一化等预处理操作。 2. 网络结构 Mask R-CNN 网络结构主要是基于 Faster R-CNN，将 Faster R-CNN 的 RPN 网络和 RoI Pooling 网络替换成了 RPN 网络和 RoI Align 网络。RoI Align 网络可以更精确的对 RoI 区域进行划分，从而提高了模型的分割精度。 3. 损失函数 Mask R-CNN 的损失函数主要包括分类损失、回归损失和掩膜分割损失。分类损失和回归损失与 Faster R-CNN 相同，掩膜分割损失是基于交叉熵损失函数和二进制交叉熵损失函数实现的。 4. 训练和测试 在训练过程中，Mask R-CNN 采用了分阶段训练的策略，即首先训练 RPN 网络，然后训练 Faster R-CNN 网络，最后训练掩膜分割网络。在测试过程中，Mask R-CNN 通过对 RoI 区域应用掩膜分割网络，生成掩膜分割结果。 以上就是 Mask R-CNN 的源码解析，通过对源码的分析，可以更好地理解 Mask R-CNN 的原理和实现方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值