Mask R-CNN实例分割算法 学习记录

一、导入

目标检测（用框线框出来）：缺点是可以区分个体，但不够精确

语义分割（标出属于猫的像素点）：缺点是可以划分像素点但不可以区分个体

综合两者优点的算法：Mask R-CNN实例分割算法

实例分割：Instance Segmentation（实例分割）不仅要正确的找到图像中的objects，还要对其精确的分割。所以Instance Segmentation可以看做object dection和semantic segmentation的结合。

该算法简介：Mask RCNN是Faster RCNN的扩展，引入了RoI Align代替Faster RCNN中的RoI Pooling，相对于Faster RCNN利用特征金字塔增加了一些公用特征层，并在最后获得预测结果后，增加了一个语义分割模型用于进行语义分割。

二、算法流程

Mask-RCNN使用Resnet101作为主干特征提取网络，对应着图像中的CNN部分，其对输入进来的图片有尺寸要求，需要可以整除2的6次方。在进行特征提取后，利用长宽压缩了两次、三次、四次、五次的特征层来进行特征金字塔结构的构造。

引入了RoI Align代替Faster RCNN中的RoI Pooling。因为RoI Pooling并不是按照像素一一对齐的（pixel-to-pixel alignment），也许这对bbox的影响不是很大，但对于mask的精度却有很大影响。使用RoI Align后mask的精度从10%显著提高到50%。

特征金字塔FPN

获得Proposal建议框

Proposal建议框的解码

对Proposal建议框加以利用（Roi Align）

预测框的解码

mask语义分割信息的获取

建议框网络的训练

Classiffier模型的训练

mask模型的训练

.

参考博客：https://blog.csdn.net/weixin_44791964/article/details/104629135