论文笔记：Mask R-CNN

最新推荐文章于 2024-05-09 20:44:48 发布
最新推荐文章于 2024-05-09 20:44:48 发布
阅读量883 收藏
点赞数
分类专栏： 深度学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29598161/article/details/108113890
版权

一、基本信息

标题：Mask R-CNN
时间：2018
引用格式：Mask R-CNN He, Kaiming, et al. “Mask r-cnn.” Proceedings of the IEEE international conference

二、研究背景

Faster R-CNN最终得到是bbox和类别，而且对小物体检测不太准确，所以本文提出一种除了可以检测box和类别外，还可以检测mask的网络。就是Mask R-CNN。

而Mask R-CN是基于Faster R-CNN改进的，和Faster R-CNN不同的是可以额外检测物体的Mask。
在这里插入图片描述
图中可以看到，bbox，mask，类别。

三、创新点

主要在2点：

  1. 应用了FPN，对小物体检测更准
  2. 应用了ROI Align，从而实现检测mask分支

Feature Pyramid Networks for Object Detection(FPN)

通用FPN框架可以查看FPN论文笔记
Mask R-CNN中的FPN：
在这里插入图片描述
更详细的图：
在这里插入图片描述
自底而上网络实际上为ResNet。
实际上，上图少绘制了一个分支：M5经过步长为2的max pooling下采样得到 P6，作者指出使用P6是想得到更大的anchor尺度512×512（）下采样之后feature map上每个元素的receptive field会变大。但P6是只用在 RPN中用来得到region proposal的，并不会作为后续Faster RCNN的输入。
下图显示了完整的框架(下图还是Faster R-CNN)
在这里插入图片描述
上图来自网络，漏了部分没画：p4 p3 p2后面要接3 * 3卷积再接2支路(cls + reg)的1 * 1卷积

看上面图有个P6，目的是？

FPN针对RPN的改进是将网络头部应用到每一个P层。由于每个P层相对于原始图片具有不同的尺度信息，因此作者将原始RPN中的尺度信息分离，让每个P层只处理单一的尺度信息。具体的，对{32、64、128、256、512}这五种尺度的anchor，分别对应到{P2、P3、P4、P5、P6}这五个特征层上。每个特征层都处理1:1、1:2、2:1三种长宽比例的候选框。P6是专门为了RPN网络而设计的，用来处理512大小的候选框。它由P5经过下采样得到。下采样之后feature map上每个元素的receptive field会变大

FPN产生了特征金字塔 [P2、P3、P4、P5、P6] ，而并非只是一个feature map。金字塔经过RPN之后会产生很多region proposal。这些region proposal是分别由 [P2、P3、P4、P5、P6] 经过RPN产生的，但用于输入到Fast RCNN中的是 [P2、P3、P4、P5] ，也就是说要在 [P2、P3、P4、P5] 中根据region proposal切出ROI进行后续的分类和回归预测。问题来了，我们要选择哪个feature map来切出这些ROI区域呢？实际上，我们会选择最合适的尺度的feature map来切ROI。具体来说，我们通过一个公式来决定宽w和高h的ROI到底要从哪个 P k P_k Pk​ 来切：
k = ⌊ k 0 + log ⁡ 2 ( w h / 224 ) ⌋ k=\left\lfloor k_{0}+\log _{2}(\sqrt{w h} / 224)\right\rfloor k=⌊k0​+log2​(wh ​/224)⌋
这里224表示用于预训练的ImageNet图片的大小。 k 0 k_{0} k0​ 表示面积为 w × h = 224 × 224 w \times h=224 \times 224 w×h=224×224 的ROI所应 该在的层级。作者将 k 0 k_{0} k0​ 设置为4，也就是说 w × h = 224 × 224 w \times h=224 \times 224 w×h=224×224 的ROI应该从 P 4 P_4 P4​ 中切出来。假设ROI的scale小于224（比如说是112 ∗ ^{*} ∗ 112) , k = k 0 − 1 = 4 − 1 = 3 \quad k=k_{0}-1=4-1=3 k=k0​−1=4−1=3 ，就意味着要从更高分辨 率的 P 3 P_{3} P3​ 中产生。另外， k k k 值会做取整处理，防止结果不是整数。
这种做法很合理，大尺度的ROI要从低分辨率的feature map上切，有利于检测大目标，小尺度的 ROI要从高分辨率的feature map上切，有利于检测小目标。

转自 https://zhuanlan.zhihu.com/p/37998710

ROI Align 和 Mask分支

ROI Align

RoI Pooling与RoI Align对比

比如ROI(proposal)是黑框，蓝色虚线交点处是Featur Map的点，下面把ROI分成2 * 2网格，这一步和RoI Polling一样

接下来对每个网格取4个采样点（RoI Polling是根据网格划分的结果中去对应的Featur Map，由于进行了整数化，就不存在小数），4个采样点灭有进行取整，所以进行双线性插值，双线性插值核心思想就是那个点举例采样点近，那个点发挥的作用就更大。

最后的步骤也和RoI Polling一样，网格内的采样点取一个最大值代表这个网格。所以最后输出的结果是固定大小。
在这里插入图片描述

需要说明的是，在相关实验中，作者发现将采样点设为4会获得最佳性能，甚至直接设为1在性能上也相差无几。事实上，ROI Align 在遍历取样点的数量上没有ROIPooling那么多，但却可以获得更好的性能，这主要归功于解决了misalignment的问题。

Mask分支

在这里插入图片描述
如上图所示，为了产生对应的Mask，文中提出了两种架构，即左边的Faster R-CNN/ResNet和右边的Faster R-CNN/FPN。对于左边的架构，我们的backbone使用的是预训练好的ResNet，使用了ResNet倒数第4层的网络。输入的ROI首先获得7x7x1024的ROI feature，然后将其升维到2048个通道（这里修改了原始的ResNet网络架构），然后有两个分支，上面的分支负责分类和回归，下面的分支负责生成对应的mask。由于前面进行了多次卷积和池化，减小了对应的分辨率，mask分支开始利用反卷积进行分辨率的提升，同时减少通道的个数，变为14x14x256，最后输出了14x14x80的mask模板。

而右边使用到的backbone是FPN网络，这是一个新的网络，通过输入单一尺度的图片，最后可以对应的特征金字塔，如果想要了解它的细节，请参考该链接。得到证实的是，该网络可以在一定程度上面提高检测的精度，当前很多的方法都用到了它。由于FPN网络已经包含了res5，可以更加高效的使用特征，因此这里使用了较少的filters。该架构也分为两个分支，作用于前者相同，但是分类分支和mask分支和前者相比有很大的区别。可能是因为FPN网络可以在不同尺度的特征上面获得许多有用信息，因此分类时使用了更少的滤波器。而mask分支中进行了多次卷积操作，首先将ROI变化为14x14x256的feature，然后进行了5次相同的操作（不清楚这里的原理，期待着你的解释），然后进行反卷积操作，最后输出28x28x80的mask。即输出了更大的mask，与前者相比可以获得更细致的mask。

转自 https://blog.csdn.net/Fire_to_cheat_/article/details/88943024

四、实验结果

五、结论与思考

作者结论

总结

思考

参考

令人拍案称奇的Mask RCNN
(目标检测) Mask R-CNN详解+论文复现

snoopy_21
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文阅读-《Mask R-CNN》
yj_isee的博客
03-22 1万+
arxiv 2017/3/20 KaiMing He & Rbg1.Contribution Propose a general instance segmentation method called Mask-RCNN, which extends Faster R-CNN by adding a branch for predicting an object mask in parallel w
Mask R-CNN图像实例分割实战：训练自己的数据集
06-14
Mask R-CNN是一种基于深度学习的图像实例分割方法，可对物体进行目标检测和像素级分割。 本课程将手把手地教大家使用VIA图像标注工具制作自己的数据集，并使用Mask R-CNN训练自己的数据集，从而能开展自己的图像分割应用。 本课程有三个项目案例实践： (1) balloon实例分割 ：对图像中的气球做检测和分割 (2) pothole（单类物体)实例分割：对汽车行驶场景中的路坑进行检测和分割 (3) roadscene( 多类物体)实例分割：对汽车行驶场景中的路坑、车、车道线等进行检测和分割 本课程使用Keras版本的Mask R-CNN，在Ubuntu系统上做项目演示。 本课程提供项目的数据集和python程序文件。 下面是使用Mask R-CNN对roadscene进行图像实例分割的测试结果： 下图是使用Mask R-CNN对pothole进行单类物体图像实例分割的测试结果： 下图是使用Mask R-CNN对roadscene进行多类物体图像实例分割的测试结果：
Paper：机器学习、深度学习常用的国内/国外引用(References)论文参考文献集合(建议收藏，持续更新)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-22 4万+
Paper：机器学习、深度学习常用的外文引用References参考文献集合(建议收藏，持续更新) References 1、国外格式 [1]D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning representations by back-propagating errors,” Nature,...
实例分割——Mask R-CNN、YOLOV8、RTMDET、DeepLab四种实例分割算法比对
最新发布
知来者逆的博客
05-09 2540
与目标检测不同，实例分割不仅识别对象的存在，还为每个检测到的对象生成一个像素级别的掩码，这允许更精细的分析和编辑。从上面这个例子可以看出，检测任务定位了对象的包围框，语义分割分割出了人这个类别，不过把所有的人一起分割了，实例分割区分出了每个人，并分别进行了分割。为了解决RoI Pooling中的量化问题，Mask R-CNN引入了RoIAlign层，它通过双线性插值精确地计算输入特征在RoI上的值，而不进行量化，从而更好地保持空间对齐，这对于生成高质量的分割掩码至关重要。
mask R-CNN论文
03-26
神经网络；CNN；R-CNN
Mask R-CNN 论文笔记
JerryZhang__的博客
03-10 1196
Mask R-CNN arXiv : https://arxiv.org/pdf/1703.06870.pdf github： https://github.com/matterport/Mask_RCNN conf & anthor: ICCV17,Kaiming He et. al intro: ROI Align, FCN 主要内容： Mask R-CNN通过在Faster R-CN...
mask rcnn算法分析_实例分割算法之Mask RCNN论文解读
weixin_39642998的博客
11-28 467
前言Anchor-Based的目标检测算法我们已经讲了比较多了，另外Anchor-Free的目标检测我们也已经简单解读了一下DenseBox开了个头，而今天我们要来说说另外一个方向即实例分割。而实例分割首当其冲需要介绍的就是2017年He Kaiming大神的力作Mask-RCNN，其在进行目标检测的同时进行实例分割，取得了出色的效果，并获得了2016年COCO实例分割比赛的冠军。总览M...
百度地图毕业设计源码-Mask-R-CNN-Translation:Mask-R-CNN-翻译
06-06
R-CNN 和 TensorFlow 今年11月，我们开源了我们对 。自那以后，我们的项目被fork了1400次，同时被应用在多个项目中，并且有许多的开发者对项目源码作出了改进。同时，我们也收到了许多关于我们项目的问题，所以在这...
Mask R-CNN预训练权重
05-26
Mask R-CNN数据标注和模型训练 教程：https://yidamyth.blog.csdn.net/article/details/124851003 使用Mask R-CNN标注自定义数据集，训练自己的模型。 本资源是教程中所需要加载的预训练模型，提供一个便捷的下载...
目标检测：Mask R-CNN
05-10
Mask R-CNN 是一个小巧、灵活的通用对象实例分割框架（object instance segmentation）。它不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。项目特性 目标检测，直接在结果图上绘制了...
Mask R-CNN 原理文档
04-25
**Mask R-CNN 概述** Mask R-CNN 是一种深度学习模型，专门用于实例分割和目标检测任务。由Kaiming He、Georgia Gkioxari、Pedro Dollar和Roie Fihrer在2017年提出，该模型在 Faster R-CNN 的基础上进行了扩展，...
Mask R-CNN
05-23
### Mask R-CNN：一种高效的实例分割框架 #### 摘要 本文介绍了一种概念简单、灵活且通用的对象实例分割框架。该方法能够在高效检测图像中的对象的同时，为每个对象实例生成高质量的分割掩模。该方法被称为Mask R-...
Car-Damage-Detection-Mask-R-CNN:利用Mask R-CNN在计算机视觉应用中检测汽车损坏
03-09
本文将深入探讨如何利用Python编程语言和先进的深度学习模型——Mask R-CNN，进行汽车损伤检测。 Mask R-CNN是Facebook AI Research团队提出的一种用于实例分割的深度学习框架，它在 Faster R-CNN的基础上增加了...
Mask R-CNN （英文）
08-25
Mask R-CNN是一种用于对象实例分割的深度学习模型，由Kaiming He、Georgia Gkioxari、Piotr Dollár和Ross Girshick在2017年的IEEE国际计算机视觉会议上提出。这个模型是在Faster R-CNN的基础上扩展的，Faster R-CNN...
Mask_R-CNN:遮罩_R-CNN
03-08
Mask R-CNN的Pytorch实现 该代码是基于2018年发布的Mask R-CNN的练习代码。 它是为CV Lab大一新生Trianing的一部分而对pracitice进行编程而实现的。 每周更新。 目录 数据 data |-- COCO |-- |-- dataset |-- |-- |-...
【Mask RCNN】论文详解(真的很详细)
热门推荐
咖啡味儿的咖啡
10-18 20万+
论文：http://cn.arxiv.org/pdf/1703.06870v3 本文主要是针对论文的详细解析，选出文章各部分的关键点，方便阅读立即。 目录： 摘要： 1、Introduction 2、Related Work 3、Mask R-CNN 3.1 Implementation Details 4、Experiments: Instance Segmentation 4...
文献精读——（第二十篇）Mask R-CNN
weixin_37799689的博客
06-01 332
一、文献核心 Mask RCNN是Faster RCNN的扩展，对于Faster RCNN的每个Proposal Box都要使用FCN进行语义分割，分割任务与定位、分类任务是同时进行的。 引入了RoI Align代替Faster RCNN中的RoI Pooling。因为RoI Pooling并不是按照像素一一对齐的（pixel-to-pixel alignment），也许这对bbox的影响不是很大，但对于mask的精度却有很大影响。使用RoI Align后mask的精度从10%显著提高到50%，第3节将
MASK RCNN论文解读
qq_35699505的博客
04-29 2758
目录 MASK RCNN具体简介 MASK RCNN网络结构 FPN发挥的重要作用 FPN解决了什么问题？ FPN具体实现 ROIAlign的分析 Loss计算与分析 MASK RCNN具体简介 MASK RCNN是大神何凯明基于faster-rcnn架构提出的新的卷积网络，该方法在有效地目标的同时完成了高质量的语义分割。 文章的主要思路就是把原有的Faster-RCNN进行扩...
Mask R-CNN论文导读
00_00_07
03-23 3万+
文章链接：Mask R-CNN看到文章出来的第一个感觉就是，哇塞，大神们不光甩大招，还在一起甩~~~让我们这些小虾米们怎么玩呢~废话不多说，介绍重点。 一、文章思想 文章的主要思路就是把原有的Faster-RCNN进行扩展，添加一个分支使用现有的检测对目标进行并行预测。同时，这个网络结构比较容易实现和训练，速度5fps也算比较快点，可以很方便的应用到其他的领域，像目标检测，分割，和人物关键点检测
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值