一、导入
目标检测(用框线框出来):缺点是可以区分个体,但不够精确
语义分割(标出属于猫的像素点):缺点是可以划分像素点但不可以区分个体
综合两者优点的算法:Mask R-CNN实例分割算法
实例分割:Instance Segmentation(实例分割)不仅要正确的找到图像中的objects,还要对其精确的分割。所以Instance Segmentation可以看做object dection和semantic segmentation的结合。
该算法简介:Mask RCNN是Faster RCNN的扩展,引入了RoI Align代替Faster RCNN中的RoI Pooling,相对于Faster RCNN利用特征金字塔增加了一些公用特征层,并在最后获得预测结果后,增加了一个语义分割模型用于进行语义分割。
二、算法流程
Mask-RCNN使用Resnet101作为主干特征提取网络,对应着图像中的CNN部分,其对输入进来的图片有尺寸要求,需要可以整除2的6次方。在进行特征提取后,利用长宽压缩了两次、三次、四次、五次的特征层来进行特征金字塔结构的构造。
引入了RoI Align代替Faster RCNN中的RoI Pooling。因为RoI Pooling并不是按照像素一一对齐的(pixel-to-pixel alignment),也许这对bbox的影响不是很大,但对于mask的精度却有很大影响。使用RoI Align后mask的精度从10%显著提高到50%。
特征金字塔FPN
获得Proposal建议框
Proposal建议框的解码
对Proposal建议框加以利用(Roi Align)
预测框的解码
mask语义分割信息的获取
建议框网络的训练
Classiffier模型的训练
mask模型的训练
.
参考博客:https://blog.csdn.net/weixin_44791964/article/details/104629135