基于多模态变分对抗主动学习的下游医学图像分析任务

M-VAAL: Multimodal Variational Adversarial Active Learning for Downstream Medical Image Analysis Tasks

摘要

在医学领域，获取正确注释的数据是昂贵的，因为它需要专家、耗时的协议和严格的验证。主动学习试图通过主动采样最有信息的示例来最小化对大型注释样本的需求。这些例子极大地提高了监督机器学习模型的性能，因此，主动学习可以在基于深度学习的诊断、临床评估和治疗计划中选择最合适的信息方面发挥重要作用。尽管一些现有的工作已经提出了采样医学图像分析中注释的最佳示例的方法，但它们不是任务无关的，也没有在采样器中使用多模态辅助信息，这有可能增加鲁棒性
本文方法

1. 提出了一种多模态变分对抗主动学习(M-VAAL)方法，该方法使用来自其他模态的辅助信息来增强主动采样
2. 该方法应用于两个数据集:i)使用BraTS2018数据集进行脑肿瘤分割和多标签分类，ii)胸部x线图像分类。
   代码地址

本文方法

在主动学习中，从大量未标记集合X *中选择最具信息量的样本X的子集来查询标签Ys。为标签标注选择的样本数量由采样器的集合预算b决定。

让我们考虑(x, y) ~ (x, y)作为数据集中最初存在的标记数据对。在从未标记池X *中采样b个样本后，它们被标记并添加到标记池(X, Y)中。采样过程是迭代的，因此在每个活动采样轮中查询b个示例并将其添加到标记池中。通过最小化任务目标函数，使用标记的样本在每轮训练任务网络。在我们的研究中，我们考虑了三个不同的下游任务:a)脑肿瘤的语义分割，b)肿瘤类型的多标签分类，以及c)胸部疾病的多类别分类。我们提出的方法的整体工作流程如图1所示。

图1:M-VAAL Pipeline:我们的主动学习方法使用多模态信息(m1和m2)来改进VAAL。
M-VAAL对未标记的图像进行采样，并选择与已注释数据互补的样本，将其传递给Oracle进行注释。
结合来自第二模态(m2)的辅助信息，可以产生更广义的采样潜在表示。
我们的方法学习任务不可知表示，因此潜在空间可以用于分类和分割任务，以采样最佳的未标记图像进行注释。
具体可以看代码

实验结果