Mask rcnn背景
原文献:mask rcnn
基于Mask R-CNN分割是目前主流的分割方式之一,它在多个领域都可适用,其发展速度也给实例分割提供良好的技术支持和平台供应。
Mask R-CNN是Faster R-CNN的延伸,是在后者原有的bounding box recognition分支上分出一条与之并行的预测object mask的分支。该方法结合了R-CNN、Fast R-CNN、Faster R-CNN的优点,并且改良了ROI Pooling,提出了ROI Align。
Mask rcnn 框架图概况
在Faster rcnn上强化网络图
1、Resnet + FPN强化特征提取,特征金字塔(FPN)
首先,选择一张需要处理的图片,然后对该图片进行预处理操作;
然后,将处理过的图片送入预训练的特征网络中如深度残差网络等,即构建所谓的bottom-up网络;
接着,构建对应的top-down网络,对层4进行上采样操作,先用1x1的卷积对层2进行降维处理,然后将两者相加
(对应元相加),最后进行3x3的卷积操作;
接下来在4到6这三层分别进行区域候选操作,在3x3的卷积层后增加两个分支操作,分别用1x1的卷积操作进行分类和回归操作;
将上一步的输出的候选ROI作为4、5、6层的输入,然后进行ROI Pool操作;
最后,在上一步的基础上面连接两个1024层的全连接网络层,然后分两个支路,连接对应的分类层和回归层;
2、Resnet(深度残差网络)
深度学习目前进展取决于技巧:初始权值选择,局部感受野,权值共享等等,但使用更深层的网络时,依然要面对反向传播时梯度消失或梯度爆炸这类传统困难。该问题给网络层数深的网络训