论文阅读：BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation

这篇文章，继承了InstanceFCN和FCIS方法的思想，进一步做了优化和补充。

创新点1：

在InstanceFCN文章中描述的以$7*7$作为每个单元格的分辨率时效果最好，本文考虑到在某些情况下$9*9$效果也不错。所以提出多尺度融合的方法做进一步的优化。具体操作如下：

在上一篇FCIS方法中，获得的score maps是$2*k^2*(C+1)$维，在本文中，考虑以下两条线针对不同的feature map。At first set，针对conv5接$1*1$卷积层，生成$2*k_1^2*(C+1)$维score maps。the second set，和set1一样的操作，使用conv3替代conv5（conv3是conv5的两倍大），生成$2*k_2^2*(C+1)$维score maps。$(k_1,k_2)=\{7,9\}$。然后只需要将RoI按照不同大小映射到score maps上计算RoI likelihood map，最终得到$2*(C+1)$维的RoI likelihood map（包含inside\outside）。示意图如下：

创新点2：

在FCIS方法中，作者直接使用RoI likelihood map使用Softmax和max操作分别获得了mask和label。本文进一步增加了贝叶斯估计，提高了分割和分类的准确性。

贝叶斯估计就是输入先验概率图，似然概率，获得后验概率图。本文就考虑使用一条semantic segmentation网络获得的分割图作为先验概率图，将求得的RoI likelihood map作为似然概率，优化获得最终的后验概率图作为分割结果。流程图如下：

得到结果图之后的操作和FCIS操作一致。