论文解读：Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical

最新推荐文章于 2024-05-07 22:00:44 发布

高级文盲

最新推荐文章于 2024-05-07 22:00:44 发布

阅读量2.2k

点赞数 2

分类专栏：论文阅读文章标签：机器学习计算机视觉人工智能深度学习 python

本文链接：https://blog.csdn.net/qq_35209222/article/details/104783380

版权

本文介绍了一种名为SIFA的无监督领域自适应框架，应用于医学图像分割，旨在解决跨模态域迁移问题。通过结合图像外观对齐和特征域不变性学习，SIFA在不使用目标域标注的情况下进行端到端训练，实现了源域到目标域的图像转换和特征对齐，提高了医学图像分割的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文解读：Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation

发表期刊： AAAI2019
作者： Cheng Chen, Qi Dou

本文提出了一种协同多模态的无监督领域自适应框架，也称为协同图像和特征自适应（SIFA）。以有效解决医学图像域迁移的问题。
传统无监督自适应框架通过两种方式进行迁移学习：在图像级别将源域图像转化到接近目标域的图像，然后对网络进行微调。在特征级别进行对抗学习，使模型能够生成域不变的特征。
本文融合了图像和特征的两个角度进行协同性的域迁移。首先跨域变换图像的外观，将源域图像转换为目标域类似的图像，使用源域标签进行有监督训练，同时在特征级别通过对抗学习进行域迁移，促使模型生成域不变的特征。两种域迁移使用相同的权重参数，在不使用任何目标域标注的情况下进行端到端的训练，学习到两个域共有的特征。

简介图

GAN本质是学习一个映射G，可以将G生成的分布拟合到目标分布上，单个GAN模型存在一定缺陷。原因在于，映射G完全可以将所有x都映射为Y空间中的同一张图片，使损失无效化。因此提出了循环一致性的概念，即映射G可以将X的图片转换到Y空间后，应该还可以通过另一个映射F转换回来。这样就避免上面的情况，使映射G能保留原始图像的特征。
对此出现了CycleGAN，其本质上是两个镜像对称的GAN，构成了一个环形网络。
两个GAN共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。DY用来指导生成器G生成接近近似于Y分布，DX判别从Y重构的图像，指导G,F能够生成源分布，实现循环一致性。

下图为作者提出的无监督域自适应框架，首先借鉴CycleGAN来将源域图像转化为类似目标域图像，生成器Gt为源域到目标域的映射，Dt为目标域的判别器。编码器E和解码器U构成目标域到源域的映射Gs，那么Gt，Gs，Dt，Ds，就构成了一个CycleGAN，然后编码器E还与分类器C连接以进行图像分割。对源域生成的图像的分割结果计算分割损失，进行有监督训练，判别器Dp对两个域样本的分割预测图进行判别，使编码器E生成域不变特征。
图中蓝色和红色箭头分别指示用于图像自适应和特征自适应的数据流。

总框架