Mask R-CNN论文原理讲解

于 2024-08-29 20:08:44 发布
阅读量569 收藏 20
点赞数 14
文章标签： cnn 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52191127/article/details/141687379
版权

论文:arxiv.org/pdf/1703.06870

代码：maskrcnn-benchmark:Fast, modular reference implementation of Instance Segmentation and Object Detection algorithms in PyTorch. - GitCode

Mask R-CNN简介 

        Mask R-CNN是何凯明大神的新作。Mask R-CNN是一种在有效检测目标的同时输出高质量的实例分割mask。是对faster r-cnn的扩展，与bbox检测并行的增加一个预测分割mask的分支。Mask R-CNN 可以应用到人体姿势识别。并且在实例分割、目标检测、人体关键点检测三个任务都取得了现在最好的效果，下图是Mask R-CNN的检测效果图：

        语义分割通过对输入图像中每个像素的标签进行预测，给出了较好的推理，例如是前景还是背景。每个像素都根据其所在的对象类进行标记。为了进一步发展，实例分割为属于同一类的对象的单独实例提供了不同的标签。

        目标检测：可以区分个体但不够准确。
        语义分割：可以划分像素但不可以区分个体。
而实例分割则可以结合二者的优点，对个体的分类及定位更加精准。因此，实例分割可以定义为同时解决目标检测问题和语义分割问题的技术。

 Mask R-CNN架构

从上图可以看出Mask RCNN架构非常接近Faster RCNN。主要区别在于，在网络的末端，还有另一个头，即上图中的掩码分支，用于生成掩码进行实例分割。还有把Faster RCNN中的ROI Pooling换成了ROIAlign。

Mask R-CNN的改进

ROIAlign

ROIAlign是ROIPooling的进化版，下面来具体讲解一下它的优化：

        ROIAlign的提出是为了解决Faster R-CNN中RoI Pooling的区域不匹配的问题，下面我们来举例说明什么是区域不匹配。ROI Pooling的区域不匹配问题是由于ROI Pooling过程中的取整操作产生的（如下图），我们知道ROI Pooling是Faster R-CNN中必不可少的一步，因为其会产生长度固定的特征向量，有了长度固定的特征向量才能进行softmax计算分类损失。

如下图，输入是一张800×800 的图片，经过一个有5次降采样的卷机网络，得到大小为 25×25 的Feature Map。图中的ROI区域大小是 600×500 ，经过网络之后对应的区域为 =18.75X15.625,由于无法整除，ROI Pooling采用向下取整的方式，进而得到ROI区域的Feature Map的大小为 18 × 15 这就造成了第一次区域不匹配。

RoI Pooling的下一步是对Feature Map分bin，加入我们需要一个7 × 7的bin，每个bin的大小为,由于不能整除，ROI同样采用了向下取整的方式，从而每个bin的大小为 2 × 2 ，即整个RoI区域的Feature Map的尺寸为14 × 14。第二次区域不匹配问题因此产生。

对比ROI Pooling之前的Feature Map，ROI Pooling分别在横向和纵向产生了4.75和1.625的误差，对于物体分类或者物体检测场景来说，这几个像素的位移或许对结果影响不大，但是语义分割任务通常要精确到每个像素点，因此ROI Pooling是不能应用到Mask R-CNN中的。

为了解决这个问题，作者提出了RoIAlign。RoIAlign并没有取整的过程，可以全程使用浮点数操作，步骤如下：

1. 计算RoI区域的边长，边长不取整；
2. 将ROI区域均匀分成k × k个bin，每个bin的大小不取整；
3. 每个bin的值为其最邻近的Feature Map的四个值通过双线性插值得到；
4. 使用Max Pooling或者Average Pooling得到长度固定的特征向量。

回到流程的正式讲解，首先输入RP特征图，用的是上一节所讲公式分配的feature map上投射出的，在此不再赘述。补充一下，训练时只传入挑选出的正负样本RP，测试时都传入。然后得到两张7×7和14×14大小的特征图，分别传入进Head层的两个功能分支。 

Mask分割

Mask分支用的就是传统的FCN图像分割方法，最后生成28×28×80的预测mask结果，注意得到的结果是软掩码，经过sigmoid后的0~1浮点数。

损失函数

网络是如何训练的呢？（损失函数如下图：）

上式的分类损失和回归框矫正损失，就不再赘述了，实在是老生常谈。我来主要讲解一下Lmask
​语义分割损失。在进行掩码预测时，FCN的分割和预测是同时进行的，即要预测每个像素属于哪一类。而Mask R-CNN将分类和语义分割任务进行了解耦，即每个类单独的预测一个位置掩码，这种解耦提升了语义分割的效果。

总结

1. 使用残差网络作为卷积结构
2. 使用Faster R-CNN的物体检测流程：RPN+Fast R-CNN
3. 增加FCN用于语义分割
 

 

只爱喝水
关注
  • 14
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mask R-CNN论文详解
11-17 272
Mask R-CNN是在 Faster R-CNN上的扩展——在其已有的用于边界框识别分支上添加了一个并行的用于预测目标掩码的分支。MaskR-CNN的训练很简单，只是在R-CNN的基础增加了少量的计算量，预测速度大约为5fps。另外，MaskR-CNN能够更好地适用于其他任务，例如：估计同一图片中人物的姿态，本文在COCO挑战中的3种任务（包括实例分割、边界框目标探测、任务关键点检测）种都获得了最好的成绩。在没有适用其他技巧的情况下，Mask。
Mask R-CNN论文讲解
wzk4869的博客
12-29 910
Mask R-CNN论文讲解
【目标检测】Mask R-CNN论文解读
wzk4869的博客
01-05 1406
【目标检测】Mask R-CNN论文解读
实例分割模型Mask R-CNN详解：从R-CNN，Fast R-CNN，Faster R-CNN再到Mask R-CNN
热门推荐
jiongnima的博客
01-21 9万+
   Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明，在该篇论文发表的时候，何凯明已经去了FaceBook。我们先来看一下，Mask R-CNN取得了...
Mask R-CNN网络详解
霹雳吧啦Wz
04-05 4万+
Mask R-CNN是2017年发表的文章，一作是何恺明大神，没错就是那个男人，除此之外还有Faster R-CNN系列的大神`Ross Girshick`，可以说是强强联合。该论文也获得了ICCV 2017的最佳论文奖（`Marr Prize`）。并且该网络提出后，又霸榜了MS COCO的各项任务，包括目标检测、实例分割以及人体关键点检测任务。在看完这边文章后觉得Mask R-CNN的结构很简洁而且很灵活效果又很好（仅仅是在Faster R-CNN的基础上根据需求加入一些新的分支）。
Mask R-CNN论文解析
yanghao201607030101的博客
10-26 520
一、论文相关信息 ​ 1.论文题目：Mask-RCNN ​ 2.发表时间：2017 ​ 3.文献地址：https://arxiv.org/abs/1703.06870 ​ 4.论文源码： https://github.com/facebookresearch/Detectron. 二、论文背景与简介 视觉社区在短时间内已经在目标检测和语义分割上取得了迅速的提高，这些提高很大部分是基于一些强大的框架，例如目标检测的Fast、Faster R-CNN和实力分割的FCN，这些框架具有直观的概念、灵活与鲁棒性，并且
实例分割论文精读：Mask R-CNN
absence521的博客
01-14 1108
本文提出了一种概念简单、灵活、通用的实例分割方法，该方法在有效地检测图像中的物体同时，为每个物体实例生成一个实例分割模板，添加了一个分支，用于预测一个对象遮罩，与现有的分支并行，用于边界框识别，Mask R-CNN易于训练，只给Faster R-CNN增加了很小的开销,运行速度为5fps,另外,Mask R-CNN很容易推广到其他任务，例如，允许我们在同一框架中估计人类姿势，我们展示了COCO系列挑战的所有三个方面的最佳结果，包括实例分割、边界框对象检测以及人类关键点检测，没有任何花里胡哨的东西，Mask
Mask R-CNN详解（图文并茂）
weixin_45074568的博客
03-09 2万+
Mask R-CNN Mask R-CNN是一个实例分割（Instance segmentation）算法，主要是在目标检测的基础上再进行分割。Mask R-CNN算法主要是Faster R-CNN+FCN，更具体一点就是ResNeXt+RPN+RoI Align+Fast R-CNN+FCN，如下图所示。 Mask R-CNN的创新点有： 1 .Backbone：ResNeXt-101+FPN 2. RoI Align替换RoI Pooling Mask R-CNN算法步骤： 1.输入一张图片，进行
目标检测：对R-CNN, fast R-CNN，faster R-CNN和mask R-CNN的理解
u010684651的博客
03-12 3295
最近准备做AI放疗相关的工作，其中包括tumor detection，所以先把这三篇文章啃了下来，过程很艰辛，每篇论文都看了好几遍，把自己的一些心得和理解记录下来。 目标检测（objection detection），就是要在图片中对目标进行定位，并且标注出物体的类别，所以相比分类任务，检测多了一步定位（location），如下面两幅图所示，红色的框框称为bounding box。（图像摘自R-...
[Network Architecture]Mask R-CNN论文解析（转）
急流勇进
11-20 565
[Network Architecture]Mask R-CNN论文解析（转） 前言 最近有一个idea需要去验证，比较忙，看完Mask R-CNN论文了，最近会去研究Mask R-CNN的代码，论文解析转载网上的两篇博客 技术挖掘者 remanented 文章1 ...
[detectron2 ] Mask R-CNN代码笔记
Ah丶Weii
06-21 2082
RPN RPN中的`match_label`表示的是[0,-1,1] # forward pairwise_iou function match_quality_matrix = retry_if_cuda_oom(pairwise_iou)(gt_boxes_i, anchors) # [M x N] for each img # forward match function matched_idxs, gt_labels_i = retry_if_cuda_oom(self.anchor_matche
Faster R-CNN 理论原理
JOJOliney的博客
06-09 1383
Faster R-CNN 理论原理 一、Faster R-CNN介绍 在b站看到一位大神up主发布的CNN原理和代码的教学视频，发现非常有帮助，于是将他所讲的内容总结了下来供大家学习讨论。 下面是up的视频、代码、博客的连接： b站视频链接：https://space.bilibili.com/18161609/channel/index github代码和PPT：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing up主的CSD
Mask R-CNN（RoIAlign）论文阅读笔记
weixin_43422466的博客
08-10 1230
文章目录Mask R-CNN论文阅读笔记2017Abstract1. Introduction2. Related Work3. Mask R-CNN3.1 Implementation Details4. Experiments: Instance Segmentation4.1 Main Results4.2 Ablation Experiments4.3 Bounding Box Detection Results4.4 Timing5. Mask R-CNN for Human Pose Est
CNN经典论文系列之从Faster R-CNN再到Mask R-CNN
weixin_45232469的博客
08-27 293
前言 这篇文章是记录jiongnima大神那里学习实例分割的过程，地址：https://blog.csdn.net/jiongnima/article/details/79094159。 在当前的目标检测、实例分割领域中这两个大名鼎鼎的cnn网络可谓是一枝独秀。至于为什么要把他们两放到一起说，那是因为Mask R-CNN的大量工作是继承与Faster R-CNN。我们先从Faster R-CNN讨...
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 4429
小迪安全学习笔记
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 8441
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 3553
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
关于人工智能（AI）的研究报告
最新发布
weixin_44196785的博客
08-29 1384
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值