论文解读：Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical

最新推荐文章于 2022-11-26 00:01:14 发布

高级文盲

最新推荐文章于 2022-11-26 00:01:14 发布

阅读量1.8k

点赞数 2

分类专栏：论文阅读文章标签：机器学习计算机视觉人工智能深度学习 python

本文链接：https://blog.csdn.net/qq_35209222/article/details/104783380

版权

1 篇文章 0 订阅

订阅专栏

论文解读：Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation

发表期刊： AAAI2019
作者： Cheng Chen, Qi Dou

本文提出了一种协同多模态的无监督领域自适应框架，也称为协同图像和特征自适应（SIFA）。以有效解决医学图像域迁移的问题。
传统无监督自适应框架通过两种方式进行迁移学习：在图像级别将源域图像转化到接近目标域的图像，然后对网络进行微调。在特征级别进行对抗学习，使模型能够生成域不变的特征。
本文融合了图像和特征的两个角度进行协同性的域迁移。首先跨域变换图像的外观，将源域图像转换为目标域类似的图像，使用源域标签进行有监督训练，同时在特征级别通过对抗学习进行域迁移，促使模型生成域不变的特征。两种域迁移使用相同的权重参数，在不使用任何目标域标注的情况下进行端到端的训练，学习到两个域共有的特征。

简介图

GAN本质是学习一个映射G，可以将G生成的分布拟合到目标分布上，单个GAN模型存在一定缺陷。原因在于，映射G完全可以将所有x都映射为Y空间中的同一张图片，使损失无效化。因此提出了循环一致性的概念，即映射G可以将X的图片转换到Y空间后，应该还可以通过另一个映射F转换回来。这样就避免上面的情况，使映射G能保留原始图像的特征。
对此出现了CycleGAN，其本质上是两个镜像对称的GAN，构成了一个环形网络。
两个GAN共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。DY用来指导生成器G生成接近近似于Y分布，DX判别从Y重构的图像，指导G,F能够生成源分布，实现循环一致性。

下图为作者提出的无监督域自适应框架，首先借鉴CycleGAN来将源域图像转化为类似目标域图像，生成器Gt为源域到目标域的映射，Dt为目标域的判别器。编码器E和解码器U构成目标域到源域的映射Gs，那么Gt，Gs，Dt，Ds，就构成了一个CycleGAN，然后编码器E还与分类器C连接以进行图像分割。对源域生成的图像的分割结果计算分割损失，进行有监督训练，判别器Dp对两个域样本的分割预测图进行判别，使编码器E生成域不变特征。
图中蓝色和红色箭头分别指示用于图像自适应和特征自适应的数据流。

总框架

首先将源域图像转化为类目标域图像，使用了一对生成器和鉴别器： $G_{t}$ 和 $D_{t}$ ，其对应的对抗损失为：
为了施加循环一致性，通过 ${E,U\}$ ( $G_{s}$ )将生成的类目标域图像反向生成源域图像，在源域中使用一个鉴别器Ds来构成一个cycleGAN的结构， $G_{s}$ 和 $D_{s}$ 的训练方式和对抗损失 $L_{adv}^{s}$ 同正向损失 $L_{adv}^{t}$ 一致。另外，还加入了逐像素的循环一致性损失 $L_{cyc}$ ，使重构的图像更接近于原始图像。

-当源域图像转化为目标域图像之后，经过编码器提取特征后进行分类，得到语义分割的预测图，便可以通过源域的标签计算分割损失，作者计算分割损失同时使用了交叉熵和Dice损失，即考虑了分布距离也考虑了预测结果和GroundTruth的交并比，经过反向传播，E可以学到部分目标域的特征。

域迁移最重要的是要模型学习到域不变特征，常见方法是直接在特征空间使用对抗学习，让鉴别器无法区分特征来自哪个域即可，但是特征空间具有高维度，难以对齐，所以作者在两个低维空间进行对抗学习，分别是重构的图像空间和语义分割预测空间。
在语义预测空间，预测的分割结果，通常带有高维特征的信息的，作者在语义预测分支中加入了鉴别器Dp，当鉴别器无法分类分割结果的时候，则代表模型学习到的特征是域不变特征。该鉴别器的对抗损失为：
在重构的图像空间，有类目标域和目标域的图像的两种重构图像，重构结果是对特征的上采样，同理也可以用鉴别器对其分类，当鉴别器无法区分两种重构图像时，则代表模型学习到的特征是域不变特征。该鉴别器的对抗损失为：
上面这些措施鼓励E从两个方面生成具有域不变性的措施，缩小两个域之间的间隙。

借助编码器，无缝的集成了图像和特征适应，可以端到端的训练整个框架，在每次迭代训练中，模块按照以下顺序一次更新:Gt -> Dt -> E -> C -> U -> Ds -> Dp，Gt首先更新以将源域图像转化到类目标域，Dt更新以区分类目标图像和真实目标图像，接下来，更新编码器E以从类目标图像中提取特征，然后更新分类器C和解码器U，将提取的特征用于语义分割和生成重构图像，最后鉴别器Ds和Dp更新，对输入域进行分类，以增强特征不变性。框架的总体目标如下:

作者与最近流行的六种无监督自适应框架方法进行了比较，数据集为多模态全心分割挑战赛2017，用Dice（预测与ground truth的交并比）和ASD（计算边缘距离）对四个心脏结构来进行评估。体现了融合了多模态的域迁移模型在准确率上是最高的。
作者还进行了消融实验，来验证各模块的有效性。“ IA”表示图像自适应； “ FA-P”和“ FA-I”分别表示语义预测空间和重构图像空间中的特征自适应：

下图为效果图，作者的方法总体来说是比较接近于ground truh了，明显优于其他方法。
在这里插入图片描述

论文的主要贡献包括以下几点：

关注