主要思路:
在Faster R-CNN的基础上增加了一路Mask Branch,来对Feature Map进行Pixel-to-Pixel的Instance Segmentation。Mask Branch相应的损失计算了每一个类,因此可以将Mask和Classification进行Decouple,与之前方法根据Mask来辅助Classification的思路不同,另外,得到的Mask保留了原有的Spatial特征,与之前方法采用Fully Connected Layer得到Vector不同。
另外一点就是提出了ROI Align,用双线性插值的方法代替ROI Pooling,消除了原有的量化误差Quantization Error,一定程度上提升模型Instance Segmentation的准确率。
Mask R-CNN将Classification, BoundingBox Regression还有Mask Regression并行计算,简化了网络的复杂度,并能完成多种任务。
主要结论:
5fps
未来工作:
We note that our mask branches have a straightforward
structure. More complex designs have the potential to im-
prove performance but are not the focus of this work.
对于Mask Branch的丰富。