《IOG：Interactive Object Segmentation with Inside-Outside Guidance》论文笔记

参考代码：Inside-Outside-Guidance
paper数据集：Pixel-ImageNet

1. 概述

导读：这篇文章提出了一种新的交互式分割算法，其通过inside-outside guidance（IOG）引导分割网络生成更加精细的分割结果（也就是目标bounding box的左上和右下两个顶点和目标中心的点）。inside guidance是指目标区域的中心位置的点，用以标明前景信息，而outside guidance是目标区域之外的点，用以标明背景信息。这样进行交互引导的好处体现为：
1）outside的两个点可以排除其它目标和背景的影响；
2）inside的点可以排除bounding box内部无关区域的干扰；
3）交互的方式简单明确，从而不像之前的一篇文章DEXTR在一些极端情况下交互困难；
4）文章的方式还支持更多点的引导，从而指导生成更加精细的分割结果；
文章的方法不仅分割准确，而且在不经过域适应的情况下展现出了较好的泛化能力。对于那些只有bounding box标注的数据集文章提出了一种两阶段的解决办法用以生成高质量的分割mask，这里可以参考文章的“Extension to datasets with box annotations only”章节。

之前的方法DEXTR使用上下左右的四个目标边界进行引导，也取得了很好的分割结果，但是在一些极端的case下便出现了问题以及一些不方便的地方：

• 1）寻找目标准确的上下左右4个边界是需要耗费较多心力的；
• 2）在下面的（a）图中可以看到这样的引导方式存在目标细长带来标注困难和不同目标重叠带来定义模糊的问题；
  
  而文章的方法是通过2个outside和1个inside点组合而成，其中2个outside点会通过推理得到另外的两个点，从而组成了包含目标的5个点，可以排除上述目标描述方式的缺陷，见上图（b）所示。

在进行运算的时候文章的方法会对初始给定的bounding box进行几个像素的扩展，在根据得到的4个背景点信息和1个前景点信息进行目标分割，见下图（c）所示：

使用文章给出的交互方式可以极大提升交互的效率，并且还可以通过后期加点的方式对不准确的信息进行修正，在使用3个点的情况下文章在PASCAL数据集下为93.2%的mIoU，而使用4个的时候达到了94.4%。

2. 方法设计

2.1 inside-outside引导

inside guidance：
文章的inside guidance用于标明需要分割的目标，见图2的c图所示。为了模拟人工标注的时候对目标中心点的选取，文章提出了一个策略：选择那些原理目标边界最远的点。使用$\mathcal{O}$代表目标中的像素点，则可以计算一个距离图$D$，则像素点 i