[论文阅读] Active Image Segmentation Propagation

论文地址：https://openaccess.thecvf.com/content_cvpr_2016/html/Jain_Active_Image_Segmentation_CVPR_2016_paper.html
发表于：CVPR’16

Abstract

我们提出了一种半自动的方法来获得大量相关图像的前景对象mask。我们开发了一种分阶段的主动传播方法：在每个阶段，我们主动确定对人类标注最有价值的图像，然后相应地修改所有未标记的图像中的前景估计。为了确定那些一旦被标注就会很好地传播到其他样本的图像，我们引入了一个主动选择程序，在所有图像的联合分割图上操作。它优先考虑那些在图中不确定和有影响的图像的人工干预，同时也是相互的。我们应用我们的方法获得了超过100万张图像的前景mask。我们的方法在ImageNet和MIT Object Discovery数据集上产生了最先进的准确性，而且它比现有的传播策略更有效地集中人类的注意力。

I. Method

由于本文的分割模型已经比较老了，为此这里重点讨论下其中的主动学习算法。本文的主动学习分为三个要素，influence、diversity、uncertainty：$$\mathrm{INFLUENCE}\left({\mathcal{S}}_t\right)=\frac{1}{\left|{\mathcal{S}}_t^{\prime }\right|}\sum _{I_i\in {\mathcal{S}}_t}\sum _{I_j\in {\mathcal{S}}_t^{\prime }}\mathrm{sim}\left(I_i^{\mathrm{c}},I_j^{\mathrm{c}}\right)$$ $$\mathrm{DIVERSITY}\left({\mathcal{S}}_t\right)=-\frac{1}{\left|{\mathcal{S}}_t\right|}\sum _{I_i\in {\mathcal{S}}_t}\sum _{I_j\in {\mathcal{S}}_t}\mathrm{sim}\left(I_i^{\mathrm{c}},I_j^{\mathrm{c}}\right)$$ $$\mathrm{UNCERTAINTY}\left({\mathcal{S}}_t\right)=\frac{1}{\left|{\mathcal{S}}_t\right|}\sum _{I_i\in {\mathcal{S}}_t}D\left(M_i\right)$$ 其中${\mathcal{S}}_t^{\prime }$表示未标注集，${\mathcal{S}}_t$表示候选集(同样未标注，正在用指标衡量其标注的“价值”)。

对于INFLUENCE，计算了候选集与未标注集之间的图像相似度，越像的话影响越高，这一步的话其实就是主动学习里经典的representative sampling，选最有代表性的样本。

对于DIVERSITY，计算了候选集内部的图像相似性，充当了一个惩罚项。同样差不多INFLUENCE的候选集，其内部图像间相似性越低的话，能提供的信息自然也就更多。

对于UNCERTAINTY，这里涉及到一个$D(M_i)$项，其表示任务模型对于图像难度的衡量。那么这个东西其实算是最有技术含量的地方，因为对于未标注集，是没有真值标签的，所以没法通过loss取衡量难度，只能靠各种途径去猜。而本文的话，单独搞了个Random Forest Regressor，随机森林回归器，来去预测样本的困难度。

总的来说，是将语义分割中的Segmentation Propagation方法给Active Learning化。