Mask-RCNN技术解析

原创 2017年05月12日 23:01:29

一. Mask-RCNN 介绍

       上篇文章介绍了 FCN,这篇文章引入个新的概念 Mask-RCNN,看着比较好理解哈,就是在 RCNN 的基础上添加 Mask。

       Mask-RCNN 来自于年轻有为的 Kaiming 大神,通过在 Faster-RCNN 的基础上添加一个分支网络,在实现目标检测的同时,把目标像素分割出来。

       论文下载:Mask R-CNN           部分翻译

       代码下载:【Github

       Mask-RCNN 的网络结构示意(在作者原图基础上修改了一下):

        

       假设大家对 Faster 已经很熟悉了,不熟悉的同学建议先看下之前的博文:【目标检测-RCNN系列

       其中 黑色部分为原来的 Faster-RCNN,红色部分为在 Faster网络上的修改:

1)将 Roi Pooling 层替换成了 RoiAlign;

2)添加并列的 FCN 层(mask 层);

       先来概述一下 Mask-RCNN 的几个特点(来自于 Paper 的 Abstract):

1)在边框识别的基础上添加分支网络,用于 语义Mask 识别;

2)训练简单,相对于 Faster 仅增加一个小的 Overhead,可以跑到 5FPS;

3)可以方便的扩展到其他任务,比如人的姿态估计 等;

4)不借助 Trick,在每个任务上,效果优于目前所有的 single-model entries;

     包括 COCO 2016 的Winners。

        PS:写到这儿提醒一句,建议大家先读一遍 原 Paper,这样再回来看的话会有第二次理解。


二. RCNN行人检测框架

       基于最早的 Faster RCNN 框架,出现不少改进,主要有三篇需要看:

1)作者推荐的这篇

     Speed/accuracy trade-offs for modern convolutional object detectors

     论文下载arxiv

2)ResNet

     MSRA也算是作者自己的作品,可以 refer to blog【ResNet残差网络】 

     论文下载arxiv

3)FPN

     Feature Pyramid Networks for Object Detection,通过特征金字塔来融合多层特征,实现CNN。

     论文下载arxiv

       来看下 后面两种 RCNN 方法与 Mask 结合的示意图(直接贴原图了):

        

       图中灰色部分是 原来的 RCNN 结合 ResNet or FPN 的网络,下面黑色部分为新添加的并联 Mask层,这个图本身与上面的图也没有什么区别,旨在说明作者所提出的Mask RCNN 方法的泛化适应能力 - 可以和多种 RCNN框架结合,表现都不错


三. Mask-RCNN 技术要点

● 技术要点1 - 强化的基础网络

     通过 ResNeXt-101+FPN 用作特征提取网络,达到 state-of-the-art 的效果。

● 技术要点2 - ROIAlign

     采用 ROIAlign 替代 RoiPooling(改进池化操作)。引入了一个插值过程,先通过双线性插值到14*14,再 pooling到7*7,很大程度上解决了仅通过 Pooling 直接采样带来的 Misalignment 对齐问题

     PS: 虽然 Misalignment 在分类问题上影响并不大,但在 Pixel 级别的 Mask 上会存在较大误差。

     后面我们把结果对比贴出来(Table2 c & d),能够看到 ROIAlign 带来较大的改进,可以看到,Stride 越大改进越明显。 

● 技术要点3 - Loss Function

     每个 ROIAlign 对应 K * m^2 维度的输出。K 对应类别个数,即输出 K 个mask,m对应 池化分辨率(7*7)。Loss 函数定义:

            Lmask(Cls_k) = Sigmoid (Cls_k),    平均二值交叉熵 (average binary cross-entropy)Loss,通过逐像素的 Sigmoid 计算得到。

     Why K个mask?通过对每个 Class 对应一个 Mask 可以有效避免类间竞争(其他 Class 不贡献 Loss )。

        

     通过结果对比来看(Table2 b),也就是作者所说的 Decouple 解耦,要比多分类 的 Softmax 效果好很多。


四. 对比实验效果


       另外,作者给出了很多实验分割效果,就不都列了,只贴一张 和 FCIS 的对比图(FCIS 出现了Overlap 的问题):

       

五. Mask-RCNN 扩展

       Mask-RCNN 在姿态估计上的扩展,效果不错,有兴趣的童鞋可以看Paper。

        

版权声明:本文为博主原创文章,未经博主允许不得转载。

Mask R-CNN论文导读

文章链接:Mask R-CNN看到文章出来的第一个感觉就是,哇塞,大神们不光甩大招,还在一起甩~~~让我们这些小虾米们怎么玩呢~废话不多说,介绍重点。 一、文章思想 文章的主要思路就是把原有的Fa...
  • crazyice521
  • crazyice521
  • 2017年03月23日 20:49
  • 14268

论文笔记:Mask R-CNN

Kaiming He 新作,貌似投iccv? 论文地址: https://arxiv.org/abs/1703.06870目标设计一个很棒的实例分割网络 Our goal in this wor...
  • Love_wanling
  • Love_wanling
  • 2017年04月14日 15:43
  • 1958

Mask R-CNN小结

Mask R-CNN 小结 连盛 2017.3.26 IMT Lab in XMU Author:Kaiming He, Georgia Gkioxari, Piotr Dol...
  • lancerlian
  • lancerlian
  • 2017年03月31日 21:37
  • 7678

Mask RCNN

Mask RCNN这是He Kaiming和Ross Girshick等人在2017新出的一篇文章。 一、文章思想 文章的主要思路就是把原有的Faster-RCNN进行扩展,添加一个分支,在现有...
  • u010772289
  • u010772289
  • 2017年04月02日 12:40
  • 2644

《Mask R-CNN》-2017

《Mask R-CNN》 进行实例分割,就是要在每一个像素上都表示出来目标所属的具体类别。 完成类别检测,图像分割和特征点定位。 1、解决的问题:在时间上对faster rcnn进行了优化,并且提高...
  • Inuchiyo_china
  • Inuchiyo_china
  • 2017年04月27日 17:21
  • 3804

Faster-rcnn数据准备过程

mask-rcnn数据出来流程: main():             -----------------load_coco():----加载标签数据标号、图像标号、类别标号及相互映射关系     ...
  • lanyuxuan100
  • lanyuxuan100
  • 2017年12月18日 15:49
  • 99

论文阅读学习 - Mask R-CNN

Mask R-CNN 摘要: 针对问题:object instance Segmentation Mask R-CNN 能有效的检测图片中的 objects,同时 生成每个 i...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017年12月06日 15:04
  • 359

FastMaskRCNN运行错误排查

其git地址为:https://github.com/CharlesShang/FastMaskRCNN,按照其步骤描述进行环境配置,在最后一步运行的时候,出现Restored 267(640) va...
  • u013735511
  • u013735511
  • 2017年12月04日 15:11
  • 262

论文阅读:《Mask R-CNN》ICCV2017

概述Mask R-CNN是用于目标检测分割的框架,即对一张图片,既输出图片中已有的目标,还能为每一个实例生成一个高质量的分割掩码。一句话概括object instance segmentation =...
  • qq_36165459
  • qq_36165459
  • 2017年10月23日 19:38
  • 713

CNN在图像分割中的简史:从 R-CNN 到Mask R-CNN

第一章 引言       Convolutional Neural Networks(CNNs) 不仅仅被用来分类,而且被用于很多其它方面。在这篇文章中,我们将看到 CNN 如何被用于提升图像实...
  • BasicCoder
  • BasicCoder
  • 2017年04月23日 15:37
  • 1242
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Mask-RCNN技术解析
举报原因:
原因补充:

(最多只允许输入30个字)