mask-rcnn解析（一）

最新推荐文章于 2025-03-03 17:13:06 发布
最新推荐文章于 2025-03-03 17:13:06 发布
阅读量3.6k 收藏 22
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuhai1223/article/details/116667655
版权

mask-rcnn

Mask RCNN沿用了Faster RCNN的思想，特征提取采用ResNet-FPN的架构，另外多加了一个Mask预测分支，ResNet-FPN+Fast RCNN+Mask，实际上就是Mask RCNN。
Faster RCNN本身的细节非常多。如果对Faster RCNN算法不熟悉，想了解更多的可以看这篇文章：一文读懂Faster RCNN，这是我看过的解释得最清晰的文章。

一、mask-rcnn整体结构图

结合物体检测和图像分割为一体的网络结构
在这里插入图片描述

二、ResNet-FPN特征提取

详细结构图如下
在这里插入图片描述
M 经过 3*3卷积核生成 channel 256 的特征图
生成特征图【p2,p3,p4,p5,p6】
那各个特征图对应到原图的步长依次为[P2,P3,P4,P5,P6]=>[4,8,16,32,64]
将P5进行步长为2的最大池化操作得到：16 * 16 * 256，记为P6

三、anchor的生成

mask-rcnn解析（二）

四、rpn网络

4.1生成rpn网络数据集

在上一步已经生成了26188个Anchor锚框，需要借助这些Anchors建立RPN网络训练时的正类和负类

  1. 计算每个Anchors与该图片上标注的真实框ground truth之间的IOU

  • 如果anchor box与ground truth的IoU值最大，标记为正样本，label=1

  • 如果anchor box与ground truth的IoU>0.7，标记为正样本，label=1

  • 如果anchor box与ground truth的IoU<0.3，标记为负样本，label=-1

  • 剩下的既不是正样本也不是负样本，不用于最终训练，label=0

  • 同时，保证正样本为128个，负样本为128个

2.计算anchor box与ground truth之间的偏移量

4.2 rpn训练

该部分主要根据上面的到的特征图rpn_feature_maps=[P2,P3,P4,P5,P6]生成以下数据：

rpn_class_logits：[batch_size，H * W * anchors_per_location，2] anchors分类器logits（在softmax之前）
rpn_probs：[batch_size，H * W * anchors_per_location，2] anchors分类器概率。
rpn_bbox：[batch_size，H * W * anchors_per_location，（dy，dx，log（dh），log（dw））] anchors的坐标偏移量

五、ProposalLayer

ProposalLayer的作用主要：
这一部分对应着总网络图中的ProposalLayer层,取出一定量的Anchors作为ROI，这个量由源码中参数POST_NMS_ROIS_TRAINING确定，假设这个参数在训练的时候设置为2000，则我们这里需要从261888个Anchors中取出2000个作为ROI

  1. 将rpn网路的输出应用到得到的anchors，首先对输出的概率进行排序（概率就是上一步得到的rpn_probs表示正样本和负样本的置信度），获取score靠前的前6000个anchor
  2. 利用rpn_bbox对anchors进行修正
  3. 舍弃掉修正后边框超过图片大小的anchor，由于我们的anchor的坐标的大小是归一化的，只要坐标不超过0 1区间即可
  4. 利用非极大抑制的方法获得最后的2000个anchor

六、DetectionTargetLayer

这一部分主要是生成RCNN网络数据集，最后DetectionTargetLayer层返回400个正、负样本，400个位移偏移量（其中300个由0填充），400个掩码mask信息（其中300个由0填充)

在这里插入图片描述

七、ROI Align 和RCNN网络的类别分类、回归、mask掩码分类

在这里插入图片描述
ROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。

①RCNN网络的类别分类和回归与RPN网络中的分类和回归是一样的，损失函数也都是基于Softmax交叉熵和SmoothL1Loss，只是RPN网络中只分前景(正类)、背景(负类)，而RCNN网络中的分类是要具体到某个类别(多类别分类)

②mask掩码分类

Mask R-CNN网络结构
weixin_42430979的博客
05-13 1327
Mask R-CNN主体结构还是Faster R-CNN，后端并联了一个mask分支Mask R-CNN有两种：一种不带FPN特征金字塔结构的，一种带FPN的，现今以采用FPN结构的为主。
cnn 示意图_Mask R-CNN
weixin_39610468的博客
12-05 747
1.动机Mask R-CNN是在Faster R-CNN基础上提出的网络，Faster R-CNN中的RoI Pooling的位置计算存在较大误差；对原Faster R-CNN分类和回归选出来的RoI，进行分割，这种方式被称为实例分割。2.创新使用RoI Align替换RoI Pooling。添加了一个额外的分支来预测分割的mask。使用sigmoid，减少类间竞争，将更多的精力放在优化mask像...
mask rcnn详细结构图
08-04
论文： Learning to segment to every thing 模型结构图
基于MASK-RCNN人体姿态识别
04-04
基于MASK-RCNN的Python人体姿态识别案例。 计算机视觉中的通用项目，此案例重点为检测，识别，应用场景非常广，也适合进行二次开发和改进，算法原理和源码都需要大家熟悉
目标检测系列—Mask R-CNN 详解
最新发布
Azperk的博客
03-03 1050
是由等人于 2017 年提出的，它在的基础上进行了扩展，除了执行（即物体的分类和定位）之外，还增加了的功能，能够精确地预测每个目标的。与其他目标检测方法相比，Mask R-CNN 在精度上具有显著优势，尤其是在实例分割任务上。它在 COCO 数据集上取得了出色的表现，因此在计算机视觉领域中得到了广泛应用。本文将详细介绍的，并提供代码示例，帮助读者深入理解 Mask R-CNN 的工作原理。
maskrcnn结构流程图
蒟蒻达的博客
12-09 3900
今天把几个月前学习maskrcnn网络过程中的图片整理一下，当时就是看这些图帮助理解的。 maskrcnn大体流程图： RPN:
Mask RCNN网络结构
weixin_40641178的博客
11-03 1339
分类误差和检测误差在farster R-CNN当中已经介绍过了，参看前面文章。分割误差为新的东西，对于每一个ROI，mask分支定义一个K*m*2维的矩阵表示K个不同的分类对于每一个m*m的区域，对于每一个类都有一个。对于每一个像素，都是用sigmod函数进行求相对熵，得到平均相对熵误差Lmask。对于每一个ROI，如果检测得到ROI属于哪一个分类，就只使用哪一个分支的相对熵误差作为误差值进行计算。
【图解】Mask R-CNN 架构
子燕若水的博客
08-02 2029
这个张量表示每个类别对应的 mask 的概率分布，也就是说，每个类别有一个 28 x 28 的 mask，表示该类别物体在图像中的位置和形状。这个向量表示每个 RoI 的类别概率和边界框偏移量，也就是说，前 K 个元素是一个 one-hot 向量，表示该 RoI 属于哪个类别的概率，后 4 个元素是一个四维向量，表示该 RoI 在 x, y, w, h 四个方向上的偏移量，其中 x, y 是中心坐标，w, h 是宽度和高度。
MaskRCNN：三大基础结构DeepMask、SharpMask、MultiPathNet
wishchinYang的专栏
03-22 4154
        MaskXRCnn俨然成为一个现阶段最成功的图像检测分割网络，关于MaskXRCnn的介绍，需要从MaskRCNN看起。         当然一个煽情的介绍可见：何恺明团队推出Mask^X R-CNN，将实例分割扩展到3000类。         MaskRCnn取得的精细结果有三个主要技术构架：DeepMask、SharpMask、MultiPathNet。MaskRCNN与...
Mask RCNN网络结构以及整体流程的详细解读
m0_48086806的博客
08-10 4015
Mask RCNN网络结构以及整体流程的详细解读
MaskRCNN网络结构
吴建明wujianming_110117
08-25 2332
MaskRCNN网络结构 MaskRCNN作为FasterRCNN的扩展，产生RoI的RPN网络和FasterRCNN网络。 结构：ResNet101+FPN 代码：TensorFlow+ Keras（Python） 代码中将Resnet101网络，分成5个stage，记为[C1,C2,C3,C4,C5]；这里的5个阶段分别对应着5中不同尺度的feature map输出，用来建立FPN网络的特征金字塔（feature pyramid）. 先通过两张MaskRCNN整体网络结构图，再附带一张绘制了stage1
pytorch-mask-rcnn-master.zip
03-17
PyTorch-Mask-RCNN是一种基于深度学习的语义分割框架，广泛应用于物体检测和实例分割任务。它是在原生Mask R-CNN的基础上，结合PyTorch框架进行实现，并且提供了中文注释，方便国内开发者理解和使用。本文将详细介绍...
虚拟现实和增强现实之场景理解算法：语义分割：Mask-RCNN算法解析.docx
08-25
虚拟现实和增强现实之场景理解算法：语义分割：Mask-RCNN算法解析.docx
开源mask-rcnn loss下降图，Resnet网络结构
04-03
"开源mask-rcnn loss下降图，Resnet网络结构" 这个标题提到了两个关键概念：Mask R-CNN和Resnet网络结构。Mask R-CNN是深度学习领域中一种用于目标检测和实例分割的先进模型，而Resnet（残差网络）则是深度神经网络...
rcnn 改进mask_Mask-RCNN技术解析
weixin_39654619的博客
12-20 1119
Mask-RCNN技术解析MaskR-CNN摘要提出了一个概念简单，灵活，通用的对象实例分割框架。本方法有效地检测图像中的对象，同时为每个实例生成高质量的分割掩码。该方法称为Mask R-CNN，通过在已有的包围盒识别分支的基础上增加一个预测对象掩模的分支，使R-CNN扩展得更快。Mask R-CNN训练简单，仅为速度更快的R-CNN增加少量开销，运行速度为5 fps。此外，Mask R-CNN易...
Mask RCNN简图
沐雨金鳞
04-05 321
Mask R-CNN网络结构理解
WangNning2000的博客
11-11 4万+
参考：https://zhuanlan.zhihu.com/p/37998710 模型中的改进： 1.Faster R-CNN里的特征提取网络-->FPN：FPN产生特征金字塔[P2,P3,P4,P5,P6]，大尺度的ROI要从低分辨率的feature map上切，有利于检测大目标，小尺度的ROI要从高分辨率的feature map上切，有利于检测小目标。 2.ROI pooling-->RoIAlign：Faster RCNN中，特征图与原始图像是不对准的，会影响检测精度；RoIA.
Mask R-CNN
小菜鸟的AI之路
10-30 2万+
论文链接：https://arxiv.org/abs/1703.06870 一、简介 Mask R-CNN是He Kaiming大神2017年的力作，其在进行目标检测的同时进行实例分割，取得了出色的效果，其在没有任何trick的情况下，取得了COCO 2016比赛的冠军。其网络的设计也比较简单，在Faster R-CNN基础上，在原本的两个分支上（分类+坐标回归）增加了一个分支进行语义分割，如下图...
Mask-RCNN 算法及其实现详解
热门推荐
remanented的博客
09-20 11万+
写在前面：经过了10多天对RCNN家族的目标检测算法的探究，从一个小白到了入门阶段，觉得有必要记录下这些天学习的知识，如有理解的不到位的地方，还望各位大佬指教。文章代码量比较大，详细的看可能需要一段的时间，等毕设开题答辩完了之后有时间我再修改修改，望谅解。   MASK RCNN 算法介绍：     Mask-RCNN 是何凯明大神继Faster-RCNN后的又一力作，集成了物体检测和实例分...
mask rcnn网络结构图
02-20
### Mask R-CNN 网络架构图解析 #### 架构概述 Mask R-CNN 是一种基于 Faster R-CNN 的改进版本，在原有框架的基础上增加了用于实例分割的任务分支。整个网络由共享的卷积层、区域提议网络 (RPN)，以及两个并行处理模块组成：一个是负责边界框回归和类别分类；另一个则是专门用来生成目标物体的二值掩码[^1]。 #### 主要组件说明 - **共享卷积特征提取** 输入图像经过一系列卷基层运算后被转换成高维空间中的稠密表示形式——即所谓的“特征映射”。这部分通常采用预先训练好的深度学习模型作为骨干网，比如 ResNet 或者 VGG16 等，以便更好地捕捉不同尺度下的视觉模式[^2]。 - **Region Proposal Network (RPN)** 基于上述获得的高层次语义信息，RPN 能够高效地筛选出可能含有感兴趣对象的位置候选区（称为 Region of Interest, ROI）。这些 ROIs 将进一步传递给后续阶段做更精细的操作。 - **RoI Align 层** 针对每一个建议窗口，利用 RoIAlign 技术代替传统的 RoIPooling 来获取固定大小的空间布局不变量。此方法能够有效减少量化误差带来的负面影响，从而提高最终输出质量。 - **全连接层/FCN 支持的目标检测与分类** 对应于每个选定出来的兴趣域，分别执行两组独立却相互关联的工作流程： - 使用若干个完全连通单元构成的小型神经子网来进行位置微调； - 同时启动另一条路径上的全卷积操作以估计对应类别的概率分布情况[^3]。 - **全卷积网络支持的对象遮罩预测** 此外还存在一条专属于创建逐像素级标签映射表的通道，它同样依赖于 FCNs 实现从输入图片到输出 binary masks 的端到端映射关系构建过程。对于任意指定尺寸 m×m 的矩形区域内，均可依据其内部各点所属状态给出精确描述。 ```mermaid graph TB; A[Input Image] --> B{Shared Conv Layers}; B --> C[RPN]; C --> D{Selected RoIs}]; D --> E[RoI Align Layer]; E --> F[Two Fully Connected Heads]; E --> G[Fully Convolutional Head for Masks]; F --> H[Bounding Box Regression & Classification]; G --> I[m × m Binary Masks Prediction]; H --> J[Output Detection Results]; I --> K[Instance Segmentation Output]; J --> L[Merged Outputs with Instance Segmentations]; K --> L; L[Final Output] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值