全景分割文章（三）

全景分割文献阅读（三）

阅读文献《Attention-guided Unified Network for Panoptic Segmentation》，《BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation》。

---

---

《Attention-guided Unified Network for Panoptic Segmentation》

论文：https://arxiv.org/pdf/1812.03904.pdf

网络框架

主要贡献

• 提出了一个可以端到端训练的网络AUNet，用于前景和背景的分割，并且在MS-COCO数据集上取得了目前最好的结果；
• 尝试将前景信息和背景信息互补，并共同作用于提高结果。AUNet的形状如上图所示，该方法以特征金字塔（FPN）作为主干，之后分为了三个分支，分别叫做前景的分支，背景分支和RPN（faster-RCNN中的结构）分支。其中如前文提到的，作者用了两个注意力机制，试图互补前景的信息和背景的信息，其中两个方法分别叫做PAM (Proposal Attention Module) ，MAM (Mask Attention Module)。
  • PAM的具体方法如下图，注意力模块连接了RPN分支和背景分支。和大部分的注意力机制一样，将RPN分支的信息通过Mi 作用于背景分支（注意这里用的是1-sigmoid因为RPN选择的前景信息，作为背景蒙版的时候应该用1减去）。这样使得分割任务集中更多注意力在局部目标上，以促进背景语义分割的准确性。在PAM的后面还加入了一个小的结构叫做背景选择，旨在过滤掉没有用的背景特征。
    
  • MAM注意力模块连接了前景和背景分支，旨在互补二者的信息，方法与之前的类似，同时也用的1-sigmoid，还有背景选择。同时在MAM中，为了解决在目标检测任务中的ROI尺寸的问题，作者又提出了另外一种插值的方法，叫做RoIUpsample, 用于解决尺寸不同的问题。
    

---

《BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation》

网络结构

• 网络主要由四部分组成：基础主干网络（FPN）; S2I ; I2S ; 遮挡重叠处理模块（occlusion handling module）。
  • Semantic-To-Instance (S2I)：实例分割是对每一个对象实体完成定位，分类，并预测出其蒙版的任务。S2I模块能够利用语义分割的上下文语义特征信息辅助完成实例分割。下面是其主体结构：
  • Instance-To-Semantic (I2S): 语义分割是为每一个像素点打上类别标签。S2I模块能够利用实例分割的空间结构信息辅助完成语义分割。下面是其主体结构：
    该模块由两部分构成：SIM与OCM。
    • SIM：将语义分割的语义信息(Fs)和实例分割的结构信息(Finlay)融合起来，然后将Concat后的信息通过3*3的conv(目的是减小RoIInlay算子造成的空间扭曲)。这样利用SIM就将语义信息(Fs)和结构信息(Finlay)融合起来了。
    • OCM:提取图像场景中的对象实例的位置分布信息。其输入为实例分割结构信息(Finlay)，经过金字塔最大池化获得对象实例分布的多尺度描述信息，然后对描述信息进行编码，最后和SIM的输出进行融合。我们就可以利用融合特征进行语义分割了。该特征信息得到了增强，因为它融合了语义信息，对象实例结构信息，对象实例空间分布信息。

主要贡献

• 提出了双向融合的全景分割网络方案，即Instance-To-Semantic (I2S) 和Semantic-To-Instance (S2I)两个方向，使得语义分割和实例分割之间进行特征交流。
• 运用ROIInlay算子实现了Instance-To-Semantic (I2S)的精确特征映射。
• 提出了一种简单有效的方法去解决重叠区域的问题，设计了一种不需要学习的算法，将像素处的RGB value与其周围的实例所对应的平均RGB value进行对比，归并像素为与其相似度最高的实例。该算法无需学习，在文章中被证明可以用在任何top-down pipeline的模型中。

---

总结

现有的全景分割算法中，很多文章都着手建立semantic branch 与instance branch之间的特征融合以及联系，互相作用加强分割精度，并且着手Occlusion handle module，尝试在改进重叠模块，使其可以平衡精度和速度。