[MICCAI2019]Unsupervised Domain Adaptation via Disentangled Representations

MICCAI2019 多模分割相关论文笔记

Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-Modality Liver Segmentation

由于来自域转移，对来自某个源域的标记数据进行训练的深度学习模型，通常在来自不同目标域的数据上表现较差。无监督域自适应方法通过减轻标记的源数据和未标记的目标数据之间的域偏移来解决此问题。作者通过解耦的表示形式实现了跨模态域自适应，即在CT和MRI图像之间实现了自适应。模型恢复了域之间的多对多映射，以捕获复杂的跨域关系，它通过查找共享的内容空间而不是直接按像素的样式转移来保留语义特征级别的信息。首先，来自每个域的图像被嵌入到两个空间中，一个共享的不变域内容空间和一个特定于域的样式空间。接下来，提取内容空间中的表示以执行任务。

介绍

域自适应算法希望从源数据分布构建模型，该模型在不同但相关的目标数据分布上表现良好。在临床实践中，各种成像方式可能具有宝贵的互补作用，如果我们能够从更易访问的CT数据中学习肝脏分割模型，并在MRI图像上也表现良好，将很有帮助。

作者的目标是实现CT和MRI之间的域适应，同时保持两个域之间的复杂关系。模型假定映射是多对多的，并通过将表示分解为内容和样式来学习它。假定对于两个域都找到了一个共享的潜在空间，该空间保留了语义内容信息。

方法

令x1∈X1和x2∈X2是来自两个域的图像，它们在视觉外观上有所不同，但具有共同的语义内容。 假设在X1和X2之间存在一个映射，可能是多对多而不是确定性的一对一。 Xi中的每个图像xi都可以投射到共享的语义内容空间c∈C（这是领域不变的）和样式代码 si∈Si（是领域特定的）中。

由解耦表示的领域适应（DADR）管道包括两个模块：非解耦表示学习模块（DRLModule）和分割模块（SegModule）。分割模块是一个标准的UNet网络。其结构示意图如下所示：

• DRL模块。该模块由两个主要组件组成，一个用于重构的变分自动编码器（VAE）和一个用于对抗训练的生成对抗网络（GAN）。训练VAE组件进行域内重构，其中将重构损失降至最低，以鼓励编码器和生成器彼此相反。训练了用于跨域转换的GAN组件，以鼓励潜在空间的解耦，将其分解为内容和样式子空间。

使用内容代码ci而不使用样式代码si来重建仅内容的图像。 对于CT和MR，它们的内容代码都嵌入共享的潜在空间中，该潜在空间包含了解剖结构信息并且不包括形态出现信息。 训练来自CT域的仅内容图像的分割模型，并将其直接应用于来自MR域的仅内容图像。

实验结果

总结

主要框架为生成判别网络，用于提取不同模块的共有信息作为模型依据，以达到迁移效果。