【reading\MICCAI 2022】MaNi: Maximizing Mutual Information for Nuclei Cross-Domain Unsupervised ...

【start：20231203】

《MaNi: Maximizing Mutual Information for Nuclei Cross-Domain Unsupervised Segmentation》

MaNi：最大化核跨域无监督分割的互信息

【author】Yash Sharma, Sana Syed & Donald E. Brown
【paper】https://link.springer.com/chapter/10.1007/978-3-031-16434-7_34
【code】https://github.com/YashSharma/MaNi

笔记

摘要

在这项工作中，我们提出了一种基于互信息（MI）的无监督域适应（UDA）方法，用于跨域核分割。不同癌症类型的细胞核在结构和外观上存在很大差异，导致深度学习模型在一种癌症类型上进行训练并在另一种癌症类型上进行测试时性能下降。这种领域的转变变得更加重要，因为细胞核的精确分割和定量是患者诊断/预后的一项重要的组织病理学任务，并且在新癌症类型的像素水平上注释细胞核需要医学专家的大量努力。为了解决这个问题，我们最大化标记的源癌症类型数据和未标记的目标癌症类型数据之间的 MI，以跨领域传输细胞核分割知识。我们使用 Jensen-Shanon 散度界，只需要每个正对有一个负对即可实现 MI 最大化。我们评估了多个建模框架和包含 20 多个癌症类型域转换的不同数据集的设置，并展示了竞争性能。所有最近提出的方法都包含用于改进域适应的多个组件，而我们提出的模块很轻，可以轻松地合并到其他方法中（实现：https://github.com/YashSharma/MaNi）。

Keywords: Unsupervised domain adaptation · Contrastive learning · Histology · Instance segmentation · Semantic segmentation

我们的论文做出了以下贡献：
1）我们为核语义和实例分割任务中的 UDA 提出了一种简单的基于 Jensen-Shannon Divergence 的对比损失。所提出的损失最大化了标记源数据集中的真实核像素表示与目标数据中的伪标记核像素之间的互信息。
2) 我们使用不同的架构和超过 20 种癌症类型的域转换来演示我们的方法，证明包含 MI 损失会导致比最近提出的方法更具竞争优势。

背景与动机

对比学习（CL）在表示学习中取得了广泛的成功，其应用范围从无监督预训练到多模态对齐 [22]。 CL的基本思想是将相似样本的潜在分布推到一起，并推开不相似样本的潜在分布。王等人 [25]采用了有监督的逐像素对比学习算法，并将属于同一类的像素视为正对，将不同类的像素视为负对，观察到语义分割性能的显着提升。我们从他们的工作中汲取灵感，并扩展了将相似类像素与不相似类像素进行 UDA 对比的想法。

模型与方法

图 1. 图像通过主干网络、用于分割训练的分割头，以及用于对比训练的投影头。源图像实际标签用于分割损失并获得细胞核和背景区域的特征表示。使用目标图像预测作为伪标签来获得细胞核区域的特征表示。屏蔽特征被平均池化，以生成正负对以实现互信息最大化。

实验与局限

所有实验均在 PyTorch 中进行，使用 1 个 A100 GPU 进行核语义分割，4 个 A100 GPU 进行核实例分割。

我们仅将我们的方法扩展到核实例分割，并将在未来的工作中重点关注分类。

展望与启发

在本文中，我们提出了一种基于 JSD 的 MI 损失，用于 UDA，用于核语义分割和实例分割。我们使用不同的架构（UNet 和 HoverNet）以及不同的癌症类型域转换（TNBC 到 TCIA/KIRC、TCIA 到 KIRC/TNBC、CoNSep 到 PanNuke）进行综合实验。我们强调，我们的方法可以在语义分割和实例分割方面带来收益。

我们计划在未来的工作中将这种方法扩展到细胞核分类任务，并随后扩展到一般成像任务。

原文

2.1 Unsupervised Domain Adaptation

UDA 是文献中经过充分研究的问题，其中两种广泛采用的技术是对抗性学习和自我训练。在对抗性学习中，研究人员尝试通过判别器训练将源数据表示与目标数据表示对齐。霍夫曼等人[11]提出了一种循环一致的对抗性域适应（DA）方法，用于强制域之间的循环一致性[17]使用类别级对抗网络来强制每个类别之间的语义一致性。蔡等人[23]通过对抗性地将聚类补丁的特征表示推到一起，开发了一种用于 DA 的补丁对齐方法。武等人[24]使用基于熵的对抗训练方法来对齐不同领域的加权自信息分布。杨等人[26]通过迭代防御域的点对抗性扰动，显示了域对齐的改进。

在自训练中，使用在标记源数据集上训练的模型在目标数据集上迭代生成伪标签并用于再训练。最近的论文采用了不同的去噪策略来提高伪标签的准确性。张等人[29]使用源域中的类别质心对目标数据进行伪标记，并使用到质心的距离进行训练。张等人[28]通过根据与原型的相对特征距离在线校正伪标签来降噪。邹等人[30]使用类归一化置信度分数来生成具有平衡类分布的伪标签以进行自训练。邹等人[31]提出了一种置信正则化，通过正则化器损失最小化来平滑预测。

我们重点介绍了在核分割中扩展上述 UDA 方法的相关工作。杨等人[27]使用对抗性域鉴别器和带有伪标签的循环适应来进行UDA。此外，他们利用弱标签来改进核实例分割和分类。哈克等人[9] 在 UDA 的输出空间上使用对抗性学习损失和重建损失来进行细胞分割。李等人[15]扩展了[9]，并应用了具有学生-教师框架的自集成方法，用于在重建和对抗性训练的同时施加一致性损失。在工作的另一个分支中，[16] 通过使用 CycleGAN 合成目标类型图像，然后在应用对抗性适应之前使用修复模块来执行从显微镜到组织病理学图像的 UDA。然而，这种方法需要在分割模块之前进行像素级转换来合成类目标图像，并使用实例级信息进行基于互信息的特征对齐，从而限制其仅采用实例分割。因此，我们限制我们的工作，并首先对其进行广泛的组织/癌症类型域转移测试，并将显微镜技术留给组织病理学适应以供未来的工作。此外，我们提出的基于 MI 的特征对齐策略可用于语义和实例分割问题。

2.2 Contrastive Learning and Mutual Information

对比学习（CL）方法被广泛用于不同模态的分类和分割任务。对于半监督分割，Alonso 等人[1] 使用纯正 CL 来强制分割网络，为标记和未标记数据集之间的同类样本生成相似的像素级特征表示。胡等人[13] 对于 MRI 和 CT 图像分割预训练，在未标记图像上使用全局对比损失，在有限标记图像上使用监督局部对比损失。对于体积医学分割，Chaitanya 等人[2] 利用不同体积中相应切片的相似性来定义对比损失的正负对。他们使用infoNCE绑定CL，需要大量负样本进行训练。为了解决这种依赖性，Peng 等人[20]通过将连续特征嵌入投影到聚类空间来最大化分类分布的互信息（MI）。他们使用编码器表示进行全局正则化，对于局部正则化，最大化多个中间级别的相邻特征向量之间的 MI。

我们的工作使用标记的源图像和伪标记的目标图像来最大化相似类之间的 MI。在我们工作的同时，Chaitanya 等人[3]通过定义未标记集和有限标记集的伪标签之间的局部像素级对比损失，提出了一种端到端的半分割框架。他们从每个图像中随机采样像素，以解决对所有像素运行 CL 的计算限制。相反，我们在类级别使用平均池化来考虑标记和未标记图像的所有像素。此外，我们使用 JSD 边界代替 InfoNCE 进行 MI 估计，并专注于域适应任务。什里瓦斯塔瓦等人[22] 在他们从文本注释进行视觉表示学习的工作中，证明基于 JSD 的界限可以在较小的批量大小下仅用一个负样本实现 MI 最大化。此外，[10]在他们的扩展分析中证明，JSD对负样本的数量不敏感，而infoNCE随着负样本数量的减少而下降，这促使我们选择JSD界限进​​行MI估计。

3.1 Problem Set-Up

在我们的工作中，我们解决了细胞核分割的无监督域适应问题，其中我们标记了来自不同癌症类型的源域数据和未标记的目标域数据。我们标记的源数据有 Ns 个图像 (xs,ys)，我们的未标记目标域有 Nt 个图像 (xt)。

3.2 Segmentation Loss and Mutual Information Maximization

我们结合使用骰子损失和二元交叉熵损失来进行监督分割训练（Lseg）。为了最大化互信息（MI），我们使用[10]中提出的基于 Jensen-Shannon Divergence (JSD) 的下界。这个界限允许我们用每个正例只用一个负例来估计 MI。在我们的框架中，我们将源域中的核像素与目标域中的核像素定义为正对，而源域中的背景像素与目标域中的核像素作为负对。

我们使用具有相同数量输入和输出通道的简单 1×1 卷积网络，然后进行批量归一化和 ReLU 作为投影头。主干网络的输出被传递到投影头以生成 MI 损失的表示。投影特征表示和分割标签用于 MI 最大化。由于标签不可用于目标域，因此我们使用来自同一迭代的分割网络输出作为伪标签。通常，我们希望将所有正对像素与负对像素进行对比。然而，为了计算可行性，我们的意思是使用分割标签来池化投影表示以获得聚合的背景和核像素表示。此外，平均合并源核表示与平均合并目标核表示被视为正对，而平均合并背景像素表示与平均合并目标核表示被视为负对。我们将 JSD 估计器定义为：

其中 zs 是平均合并源核表示，zt 是平均合并目标核表示，z′ s 是源样本的平均合并背景表示，sp(z)=log(1+ez) 是 softplus 函数。这里，Tω : Zs ×Zt → R 是一个具有可训练参数 ω 的判别器网络，这些参数经过联合优化，以区分来自联合分布的配对样本（正对）和来自边缘乘积的配对样本（负对）。对于鉴别器网络，我们使用[10]中提出的连接架构。

3.3 Training

图 1. 图像通过主干网络、用于分割训练的分割头，以及用于对比训练的投影头。源图像实际标签用于分割损失并获得细胞核和背景区域的特征表示。使用目标图像预测作为伪标签来获得细胞核区域的特征表示。屏蔽特征被平均池化，以生成正负对以实现互信息最大化。

---

如图 1 所示，我们的架构分为 4 部分：
（1）主干编码器解码器网络（θb），
（2）用于生成分割掩模的分割头（θs），
（3）用于生成 MI 最大化的特征表示的投影头（θp）
（4）用于估计 MI 的鉴别器网络 (Tω)。

我们将训练分为两个步骤：

在步骤 1 中，为了预热模型并为目标数据实现合理的伪标签，我们使用分割损失的源数据对主干网络 (θb) 和分割头 (θs) 进行预训练。

在步骤 2 中，我们继续使用标记源数据点和伪标记目标数据点之间的 MI 损失来训练模型。

其中 Zs 和 Zt 分别是源和目标的平均池核表示，Xpair 定义随机配对的源和目标图像以实现 MI 最大化。

知识点

互信息

互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。