[论文阅读] Multi-task Attention-Based Semi-supervised Learning for Medical Image Segmentation

[论文地址] [代码] [MICCAI 19]

Abstract

我们提出了一种新型的半监督图像分割方法，它同时优化了监督分割和无监督重建目标。重建目标使用一种注意力机制，将对应于不同类别的图像区域的重建分开。所提出的方法在两个应用中进行了评估：脑瘤和白质超密集区的分割。我们的方法在未标记的和少量标记的图像上进行训练，其表现优于用相同数量的图像训练的有监督的CNN和在未标记的数据上预训练的CNN。在消融实验中，我们观察到，所提出的注意机制大大改善了分割性能。我们探索了两种多任务训练策略：联合训练和交替训练。交替训练需要较少的超参数，并取得了比联合训练更好、更稳定的性能。最后，我们分析了通过不同方法学到的特征，发现注意力机制有助于在编码器的较深层学到更多的鉴别性特征。

Method

本文的半监督思路主要包含两方面。其一是Multi-Task，即构建了一个额外的解码器$D_R$来执行无监督重建任务，相当于把Encoder-Decoder当成了一个自监督的VAE；这个无监督重建有两种思路，一种是直接重建原始图像本身，另一种是分别重建原始图像的前景与背景，本文发现后者效果要更好。

而至于这个attention，指的是预测得到的粗结果(soft segmentation)并没有直接作为伪标签，而是和输入图像进行了一个像素乘；这样的话，就可以把图像的粗前景与粗背景给提取出来。这个粗前景与粗背景需要与$D_R$重建的前景与背景一致，从而实现一致性约束来进行半监督学习。