Facebook的物体分割新框架研究1——写在前面

以下是简短的介绍先理顺思路，博主将一边学习一边记录笔记♪(^∇^*)所以一共是三个网络，博主会依次介绍哒~

一、DeepMask【Learning to Segment Object Candidates.2015 NIPS】DeepMask笔记

二、SharpMask【Learning to Refine Object Segments.2016 ECCV】SharpMask笔记

三、MultipathNet【A MultiPath Network for Object Detection.2016 BMVC】

最近，FAIR开发了一项用于发现和切割单张图像中每个物体的新技术，这一技术的主要驱动算法是DeepMask——一个新的图像分割框架，以及SharpMask——一个图像分割refine模型，二者结合使得FAIR的机器视觉系统能够感知并且精确的描绘一张图片中任何物体的轮廓。这一识别管道中的最后一步，研究院使用了一个特殊的卷积网络，称为MultiPathNet，为图片中检测到的物体添加标签。也就是说Facebook研究院的物体检测系统遵循一个三阶段的过程：（1）DeepMask生成初始物体mask（2）SharpMask优化这些mask（3）MutiPathNet识别每个mask框定的物体。

• DeepMask的技巧是把分割看成是一个海量的二进制分类问题

• • 对一张图像中的每一个重叠的图像块：这个图像块包含一个物体吗？如果包含，那对于一个图像块中的每个像素：这个像素是图像块中心物体的一部分吗？用深度网络来回答每一个Yes/No的问题

• • 上层功能以相当低的空间分辨率计算，这为mask预测带来一个问题：mask能捕捉一个物体大致外形，但不能准确捕捉物体边界。

 

• SharpMask优化DeepMask的输出，产生具有更高保真度的能精确框定物体边界的mask

• • 在DeepMask预测前向通过网络时，SharpMask反转信息在深度网络的流向，并通过使用progressively earlier layers的特性来优化DeepMask做的预测。

• • 要捕捉物体外形，你必须高度理解你正在看的是什么（DeepMask）；但是要准确框出边界，你需要使用低层次的特性一直到像素级（SharpMask）

• DeepMask不知道具体对象类型，尽管可以框定但不能区分物体；以及没有选择性，会为不是很有趣的图像区域生成mask

• • 训练一个单独的深度网络来对每一个DeepMask产生的mask的物体类型进行分类（包括“无”），采用R-CNN

• • 改进是使用DeepMask作为R-CNN的第一阶段。

• • 对于RCNN的第二阶段，使用一个专门的网络架构来对每一个mask进行分类，也就是MultiPathNet，允许信息以多种路径通过网络，从而使其能够在多种图像尺寸和图像背景中挖掘信息。