Mask-R-CNN实例分割算法（1）

1.目标检测算法：（用一个框框出目标）

2.语义分割算法：标出属于猫的像素点

————————————————————————————
二者区别：

Mask-R-CNN实例分割算法可以结合两者优点
————————————————————————————
3.防止失真和保证语义效果的精确，会在图像边缘加上灰条，同时保证图像边长可以整除2的六次方

4.图片传入主干特征提取网络，当输入的图片为1024 X 1024时，我们会获得多个特征公用层，相当于将图片划分成不同的网格，每个网格有不同的相应框，利用RPN区域建议网络，我们可获得相应框的调整参数和框内是否包含物体，此时我们获得建议框

建议框可以在特征图上进行截取，截取到的部分特征层就可以反映原图中的不同区域,截取到的图再传入ROI Align中，ROI Align将截取到的图resize到相同大小后利用分类或者回归网络判断截取到的内容是否包含目标，并对建议框进行调整。调整之后就是预测框，再将预测框进行截取



!](https://img-blog.csdnimg.cn/202104201342188.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzUxMTQzMDA5,size_16,color_FFFFFF,t_70)

5.（regious建议层，feature map有效特征层）

CNN包括两部分，一部分是RESnet101（主干特征提取网络）,一部分是特征金字塔

图片输入特征金字塔之后会对图片进行特征提取，提取过程中图片长宽会进行压缩，金字塔会对提取到的特征进行上采样，使得图片特征变大的同时与特征提取时的特征组合，通过特征层的不断组合，可以实现更有效的特征提取

特征金字塔结构：
（最左侧为RESNet50，绿框p1p2p3p4p5为提取到的特征，作为RPN网络有效特征层,再用有效特征层获得建议框）

6.建议框：
在faster-R-CNN中建议框主要是对图片特征进行初步提取，我们会获得很多建议框，建议框里可能有物体可能没有物体，但其功能也只是帮助我们进行特征的初步粗略的筛选，获得建议框之后，我们会用建议框对有效特征层（p1p2p3p4p5）进行截取,用p1p2p3p4p5获得建议框后，建议框对p1p2p3p4的特征进行截取，截取过程发生在ROI Align层中

7.有效特征层（feature map）进入到ROI Align层中进行特征截取，会利用同时传进来的建议框（regions）进行截取，获得局部特征层，其中局部特征层的大小是不固定的，因为建议框的大小也是不固定的，ROI Align层将获得的局部特征层进行resize到相同大小，方便后续网络的操作。调整好的图片传入
classifier（分类回归模型）中

首先classifier（分类回归模型）分为两部分，第一部分（softmax）先判断建议框是否包含物体，第二部分boundary box regressor（预测框）将对建议框进行调整，获得预测框：

通过上述操作完成了目标检测功能，接下来在实例分割中我们要在在mask模型（语义分割模型）中实现语义分割功能。
8.预测框会再对有效特征层(feature map)进行截取，截取后再进入ROI Align中进行resize,之后传入mask语义分割模型中进行语义分割，为什么要这样才传入mask语义分割模型中呢，因为建议框提取比较粗略，不精细，数量多，而预测框恰好相反，它有的是目标同时因为数量较少，可以节省计算资源，提高模型预测速度，