Mask R-CNN网络结构

已于 2024-05-13 19:56:50 修改
阅读量237 收藏 9
点赞数 3
文章标签： 深度学习 人工智能 神经网络
于 2024-05-13 19:11:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42430979/article/details/138815426
版权

目录

RoIAlign

Mask分支

Mask R-CNN损失

Mask R-CNN主体结构还是Faster R-CNN，后端并联了一个mask分支

Mask R-CNN有两种：一种不带FPN特征金字塔结构的，一种带FPN的，现今以采用FPN结构的为主

RoIAlign

RoIAlign的提出是为了解决在网络两次取整操作中所导致的Misalignments问题

将原图点映射到特征层上，步距为32，会出现无法整除，RoIPooling进行四舍五入这样就会导致误差。

同样将原图点映射到特征层上，出现小数不进行四舍五入直接对应特征图上，例如（0.3125，3.875）带小数的形式。将蓝色的矩形框均分为2X2几个子区域，由于2X2均分不存在四舍五入操作。对于每个子区域要求取输出涉及到sampleing ratio参数，即每个子区域需要采样多少个点。原论文sampleing ratio=2，此处假设sampleing rati=1找到四个点的中心点，如橙色点，确定距离橙色点最近的四个特征点。利用双线性插值计算公式获取距离橙色点的数值。

RoIAlign的结果对于采样点位置以及采样点的个数并不敏感。

Mask分支

Mask R-CNN包括两个分支，一个是类别分支一个是Mask分支

Mask分支与分类分支不共用一个RoI，Mask分支需要更多的细节信息所以没有池化到7X7大小，而是池化到14 X14的大小

Mask分支针对每个类别都预测了一个模板且模板大小均为28X28。

MaskRCNN之前的网络对每一个像素每一个类别都会预测一个概率分数，之后会对每一个像素沿channel方向做一个softmax处理，会得到每一个像素归属每一个类别的概率分数，这样不同类别间存在竞争关系，每一个像素沿channel方向的概率之和等于1，所以各个类别存在竞争关系。MaskRCNN不会对每一个像素沿channel方向做一个softmax处理，而是针对类别分支预测的类别信息带入Mask分支中，将针对该类别的模板提取出来使用，类别间不存在竞争关系。

预测的时候只需要最准确的目标边界框

Mask R-CNN损失

相较于之前的FaterRCNN增加了一个Mask分支

图片输入给骨干网络通过下采样得到最终不同特征层的特征图，通过RPN得到多个Proposals这里的Proposals都是正样本，将这些Proposals送入RoIAlign，会根据Proposals大小在对应的特征层进行裁剪得到14X14的特征。再将特征送入Mask分支，就会每一个类别都预测一个Mask，因此得到Mask分支得到的logits。虽然Mask分支没有进行softmax处理，但是会经过sigmoid激活，即将每一个点映射到[0,1]之间。Proposals回到原图去裁剪对应的区域，在缩放到28x28大小得到真实Mask，真实Mask中目标区域为1，真实区域为0。与预测Mask送入损失函数中去计算损失。

得到Mask为28X28大小，经过双线性插值放大到与预测边界框一样大小，放到原图对应的位置区域。

一些浅显的总结，后续还会继续完善。。。

文章内容主要来源于：Mask R-CNN网络详解_哔哩哔哩_bilibili

萌萌哒小公举
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mask R-CNN网络结构理解
WangNning2000的博客
11-11 4万+
参考：https://zhuanlan.zhihu.com/p/37998710 模型中的改进： 1.Faster R-CNN里的特征提取网络-->FPN：FPN产生特征金字塔[P2,P3,P4,P5,P6]，大尺度的ROI要从低分辨率的feature map上切，有利于检测大目标，小尺度的ROI要从高分辨率的feature map上切，有利于检测小目标。 2.ROI pooling-->RoIAlign：Faster RCNN中，特征图与原始图像是不对准的，会影响检测精度；RoIA.
Mask R-CNN网络详解
霹雳吧啦Wz
04-05 4万+
Mask R-CNN是2017年发表的文章，一作是何恺明大神，没错就是那个男人，除此之外还有Faster R-CNN系列的大神`Ross Girshick`，可以说是强强联合。该论文也获得了ICCV 2017的最佳论文奖（`Marr Prize`）。并且该网络提出后，又霸榜了MS COCO的各项任务，包括目标检测、实例分割以及人体关键点检测任务。在看完这边文章后觉得Mask R-CNN的结构很简洁而且很灵活效果又很好（仅仅是在Faster R-CNN的基础上根据需求加入一些新的分支）。
MASK R-CNN网络介绍
chase
03-11 2635
MASK R-CNN网络介绍
实例分割模型Mask R-CNN详解：从R-CNN，Fast R-CNN，Faster R-CNN再到Mask R-CNN
热门推荐
jiongnima的博客
01-21 9万+
   Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明，在该篇论文发表的时候，何凯明已经去了FaceBook。我们先来看一下，Mask R-CNN取得了...
[经典网络]：Mask R-CNN 网络结构详解 : R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN, FCN
shinezzz的博客
05-20 2208
论文：He, Kaiming, et al. “Mask r-cnn.” Proceedings of the IEEE international conference on computer vision. 2017. 代码：TensorFlow实现 实例分割模型Mask R-CNN详解：从R-CNN，Fast R-CNN，Faster R-CNN再到Mask R-CNN从R-CNN1开讲...
mask r-cnn网络结构
Joker_xun的博客
04-29 4035
第五章:Mask R-CNN网络详解
ADICDFHL的博客
07-06 438
摘要 我们提出了一个概念上简单、灵活、通用的目标实例分割框架。我们的方法在有效检测图像中的对象的同时，为每个实例生成高质量的分割掩码。这种方法称为Mask R-CNN，通过在现有的边界框识别分支之外添加一个用于预测对象掩码的分支来扩展Faster R-CNN。Mask R-CNN的训练简单，并且对Faster R-CNN的开销很小，运行速度为5 fps。此外，Mask R-CNN容易推广到其他任务，例如在同一框架中估计人体姿势。
R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN网络结构
~华仔的博客
02-26 682
https://blog.csdn.net/briblue/article/details/82012575
Mask R-CNN讲解
weixin_43702653的博客
04-24 3万+
Mask R-CNN最全讲解
【目标检测经典模型比较】--Fast R-CNN Faster R-CNN Mask R-CNN
weixin_62371528的博客
02-06 1344
【目标检测经典模型比较】二阶段--Fast R-CNN Faster R-CNN Mask R-CNN三者比较与进步，包括各自优缺点。目标检测入门二阶段检测算法。
『计算机视觉』Mask-R-CNN
01-27
本文来自于cnblogs，文章主要介绍了Mask-R-CNN流程、抽象架构以及结构等相关内容。 MaskR-CNN是一个实例分割（Instancesegmentation）算法，通过增加不同的分支，可以完成目标分类、目标检测、语义分割、实例分割、...
Mask R-CNN的几点总结
01-06
Mask R-CNN用于实例分割任务，其网络结构与Faster R-CNN基本相同，通过Convnets提取特征，Region Proposal Networks生成候选框（Region of Interest）。区别在于算法的最后一部分，除了需要对候选框对象进行分类和...
mask rcnn详细结构图
08-04
论文： Learning to segment to every thing 模型结构图
使用Mask R-CNN进行实例分割的综述-研究论文
05-19
它是众所周知的Faster R-CNN对象检测体系结构的增强。 遮罩R-CNN向现有的Faster R-CNN模型添加了一个额外的遮罩分支。 Faster R-CNN为图片中的每个对象产生两件事。 它的类标签和边界框坐标。 遮罩R-CNN为此添加了...
【深度学习】【NLP】Bert理论，代码
q742971636的博客
06-11 1120
BERT (Bidirectional Encoder Representations from Transformers) 是一个由Google开发的自然语言处理预训练模型。BERT在多个NLP任务中取得了显著的效果，主要因为它能够利用句子中所有单词的上下文信息进行训练和预测。下面从公式和代码两个角度进行讲解。BERT 的输入由三个嵌入层组成：输入向量表示为： Input=Token Embedding+Segment Embedding+Position Embedding \text{Input} =
基于深度学习的电池健康状态预测（Python）
weixin_39402231的博客
06-12 415
电池的故障预测和健康管理PHM是为了保障设备或系统的稳定运行，提供参考的电池健康管理信息，从而提醒决策者及时更换电源设备。不难发现，PHM的核心问题就是确定电池的健康状态，并预测电池剩余使用寿命。但是锂电池的退化过程影响因素众多，不仅受其本身工作模式的影响，外部环境的压力、温度等都会影响锂电池的退化。这些影响因素之间的相互耦合，导致锂电池的退化表现出很强的非线性及不确定性，这给SOH估计和RUL预测带来了很大的困难。
tensorRT 自定义算子plugin的实现
@bangbang的博客
06-09 377
实现一个自定义算子, 对输入的x， 先加一个数r,再乘以simport os自定义算子需要实现2个类，分别是算子的实现类, 以及利用实现类构建的算子类是自定义算子的实现类,通过继承父类的方式实现导出自定义算子。继承该父类后需要用户自己实现forward以及symbolic两个静态方法。forward函数: 定义该算子实现的具体代码，其中第一个参数必须是ctx, 后面的参数是实际自己传入的参数。symbolic方法: 由于是自定义的算子，因此需要定义符号函数symbolic，从而让onnx能识别它。
深度学习的点云检测
最新发布
weixin_42605076的博客
06-12 1001
深度学习在点云检测中的应用取得了显著的进展，通过使用各种神经网络架构，能够高效地处理和分析点云数据。尽管面临数据无序性、稀疏性和高维性的挑战，但随着算法和计算资源的不断进步，点云检测技术在多个领域展现出了广阔的应用前景。通过有效的数据增强和预处理技术，可以进一步提升点云检测模型的鲁棒性和准确性。
Python深度学习：Bi-LSTM和LSTM在网络上有什么区别，对比来看
惊鸿若梦一书生
06-12 73
Python深度学习：Bi-LSTM和LSTM在网络上有什么区别，对比来看
介绍Cascade Mask R-CNN的网络结构普
05-20
通的Mask R-CNN在Faster R-CNN的基础上引入了Mask分支，可以同时预测出对象的位置、类别和...其网络结构与Mask R-CNN相似，但添加了级联结构和一些辅助模块，例如BBox-Attention和Mask IoU Head等，以进一步提升性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值