[论文阅读] Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation

论文地址：https://arxiv.org/abs/1706.04737
发表于：MICCAI’17

Abstract

图像分割是生物医学图像分析的一个基本问题。深度学习的最新进展在许多生物医学图像分割的基准上取得了可喜的成果。然而，由于生物医学图像的巨大变化(不同的模态、图像设置、对象、噪声等)，要在一个新的应用上利用深度学习，通常需要一组新的训练数据。这可能会产生大量的标注工作和成本，因为只有生物医学专家才能有效地进行标注，而图像中往往有太多的实例(如细胞)需要进行标注。在本文中，我们的目标是解决以下问题：在有限的标注工作(如时间)下，应该对哪些实例进行标注，以达到最佳性能？我们提出了一个深度主动学习框架，该框架结合了全卷积网络(FCN)和主动学习，通过对最有效的标注区域提出明智的建议，大大减少了标注工作。我们利用FCN提供的不确定性和相似性信息，制定了一个广义版本的最大集合覆盖问题，以确定最具代表性和不确定性的标注区域。使用2015年MICCAI腺体挑战赛数据集和淋巴结超声图像分割数据集进行的广泛实验表明，使用我们方法的标注建议，只需使用50%的训练数据就可以达到最先进的分割性能。

I. Motivation

这种将主动学习应用于自定模型的motivation都差不多，均为解决数据集标注困难的问题；这里额外提几点将AL应用于分割网络时所需要解决的问题：

• 网络应该是轻量的
• 网络的泛化性应足够好，以供在较少训练样本的情况下也能学习

而为了解决这些问题，文中引入了batch norm，residual connection，bottleneck等网络设计技巧。

II. Network Architecture

这个其实就是一个基本的AL框架。而对于其中的分割网络，使用的是基础的FCN：

III. Uncertainty estimation

本文不确定性估计是通过bootstrap算法实现的。这里涉及到一个小技巧，如何去评估一个uncertainty estimation算法的效果——可以直接比较不确定性估计图与实际测试误差图：

如果不确定性估计图(b)与测试误差图©比较接近，那就说明不确定性估计的较为合适。

bootstrap算法的基本思想为，将训练数据分为多个子集，然后训练多个模型，每个模型分分别使用一个子集去训练，最后统计某张样本在不同模型上的预测结果差异即可。差异越大，可以从一定程度上证明该张图像难以被预测。

IV. Similarity estimation

这里相似度的做法类似于现在GAN中比较流行的VGG Loss，即将两张图像送入预训练VGG网络中，然后将输出特征计算余弦相似度。

从举的例子上看这里的相似度也比较准确，右侧五张图像与左侧比较接近：

V. Annotation suggestion

这里要分析的就是怎么综合利用uncertainty estimation、similarity estimation这两个指标来选择既不确定又有代表性的样本的问题。形式化定义如下：

对于所有未标注的样本集合${\mathcal{S}}_u$，我们要在其中选择$k$张图像，组成图像集合${\mathcal{S}}_a$，这些图像应该是既不确定又有代表性的。文中认为，不确定性比有代表性更加重要，因此就先选择了$K(K>k)$个不确定性分数最高的图像，组成候选集${\mathcal{S}}_c$，然后我们再从中挑选最具代表性的，以组成${\mathcal{S}}_a$。摘要所述的"最大集合覆盖问题"指的就是从${\mathcal{S}}_c$中选取${\mathcal{S}}_a$的过程。不过这个东西其实本来就是个NP难问题…因此最后求解的时候还是用的贪心算法。

这个方法实际上可能有比较大的问题，在实验阶段，两个annotation suggestion阶段之间的耗时可能高达10分钟。

VI. Experiment

绿线表示SOTA，红线表示本文方法，黑线表示随机选择，蓝线表示只使用uncertainty estimation而不使用 similarity estimation。