医图论文 TIP‘24 | 风格一致性无监督领域自适应医学图像分割_style consistency unsupervised domain adaptation m-CSDN博客

本文链接：https://blog.csdn.net/xx_nm98/article/details/144300396

论文信息

题目：Style Consistency Unsupervised Domain Adaptation Medical Image Segmentation

风格一致性无监督领域自适应医学图像分割

论文创新点

局部相位增强风格融合（Local Phase-Enhanced Style Fusion）：作者提出了一种局部相位增强的风格融合方法来减轻领域偏移，并产生局部增强的感兴趣器官。通过设计一个局部相位增强风格融合（LPSF）模块，增强了器官的边界和对比度，并生成了更真实的合成目标域图像。
相位一致性鉴别器（Phase Consistency Discriminator）：为了增强域不变特征和风格特征之间的解耦，并从域不变编码器中移除特定领域的特征，作者构建了一个相位一致性鉴别器。这个鉴别器能够区分源域和目标域之间域不变特征的相位一致性。
多周期风格一致性（Multi-Epoch Style Consistency）：作者设计了一个多周期风格一致性（MESC）模块来测量风格转移过程中的风格一致性。该方法减少了合成目标域图像和真实目标域图像之间的不一致性，并提高了感兴趣器官的完整性。
风格一致性熵（Style Consistency Entropy）：为了关注容易产生错误分割的区域，作者提出了风格一致性熵损失。这个损失函数鼓励网络更多地关注高不确定性区域，从而产生了更好的分割结果，并有效地利用了未标记的目标域数据。

摘要

无监督领域自适应医学图像分割旨在使用标记的源域图像来分割未标记的目标域图像。然而，不同的医学成像方式导致其图像之间存在较大的领域偏移，其中一个成像方式训练良好的模型往往无法分割另一个成像方式的图像。为了减轻源域和目标域之间的领域偏移，作者提出了一种风格一致性无监督领域自适应图像分割方法。首先，设计了一种局部相位增强的风格融合方法来减轻领域偏移并产生局部增强的兴趣器官。其次，构建了一个相位一致性鉴别器来区分源域和目标域之间域不变特征的相位一致性，以增强域不变和风格编码器的解耦，并从域不变编码器中移除特定领域的特征。第三，提出了一种风格一致性估计方法，从不同风格中间合成的目标域图像中获得不一致性图，以测量困难区域，减轻合成目标域图像与真实目标域图像之间的领域偏移，并提高感兴趣器官的完整性。第四，为目标域图像定义了风格一致性熵，通过关注不一致区域进一步改善感兴趣器官的完整性。通过内部数据集和公开可用数据集进行了全面实验。实验结果证明了我们的框架优于最先进的方法。

关键字

无监督领域自适应
风格一致性
相位一致性
熵一致性

III. 方法

图2显示了所提出的风格一致性UDA图像分割框架。

左侧子网络是局部相位增强的风格转移网络。右侧子网络是基于风格一致性的域图像分割网络。来自源域的标记图像数据集表示为，其中（以下简称为）是第个带注释的源域图像，（以下简称为）是的标签，是带注释的源域图像的数量；来自目标域的未标记图像数据集表示为，其中（以下简称为）是第个未注释的目标域图像，是未注释的目标域图像的数量。源域图像和目标域图像分别输入到共享的域不变编码器中以提取域不变特征和。和分别输入到两个风格编码器和中以提取源域和目标域的相应风格特征，并分别产生两个域特定的风格特征和。设计了一个LPSF模块来产生源域局部相位增强的域不变特征和目标域局部相位增强的风格融合特征。还设计了一个PSF模块来产生目标域相位增强的域不变特征和源域相位增强的风格融合特征。合成的目标域图像是使用解码器、和生成的。合成的源域图像是使用解码器、和生成的。同样，重构的源域图像是使用解码器、和生成的，重构的目标域图像是使用解码器、和生成的。详细信息在第三节A部分描述。为了减轻领域不一致性，第三节B部分描述了相位一致性方法。为了进一步减少合成目标域图像和真实目标域图像之间的差异，并提高感兴趣器官的完整性，第三节C部分描述了风格一致性估计方法。随后，为了进一步提高感兴趣器官的完整性，第三节D部分描述了基于熵的风格一致性方法。

A. 局部相位增强风格融合

为了解决这些问题，设计了一种局部相位增强的风格融合方法来减轻领域偏移并产生局部增强的感兴趣器官。如图2所示，源域风格编码器和目标域风格编码器分别提取源域和目标域的域特定风格特征。为了确保域不变特征的不变性，域不变特征提取器应用于源域和目标域图像。解码器产生对应于给定域的域特定合成图像，同时保持给定的解剖结构。如图2所示，局部相位增强风格融合（LPSF）模块设计用于产生目标域局部相位增强的风格融合特征和相位增强的一致性源域特征。多尺度源域域不变特征和多尺度目标域风格特征共同输入到我们的LPSF模块中。在实现中，的4尺度源域域不变特征通过最大池化调整为相同大小并连接为。同样，、、也进行处理。LPSF由局部内容特征提取（LCFE）模块和相位增强风格融合（PSF）模块MPSF组成。如图2所示，源域域不变特征、目标域风格特征和源域的ground truth共同输入到LCFE中。局部器官向量是利用器官的标签从源域域不变特征中提取的。

其中是器官向量的数量，是调整到相同大小的缩放操作，是的通道数。MFE表示掩码特征提取，其中对应于调整大小的ground truth前景的所有特征向量被提取以构建。然后输入到1D自适应最大池化层以获得。输入到两个1D卷积层以获得两个动态卷积核参数和。进一步输入到1D自适应最大池化层和1D卷积层以产生动态卷积核参数。分别输入到三个动态卷积层中，这三个核参数是、和，得到的三个特征与连接后输入到的2D卷积层以产生源域局部域不变特征。

正如[39]、[41]中所述，相位谱包含丰富的结构特征，包括轮廓和边界。如图2所示，为了保持源域图像中感兴趣器官的边界或轮廓不变，PSF模块设计用于在生成合成目标域图像的路径中，通过快速傅里叶变换（FFT）提取源域图像的相位谱。

其中是逆快速傅里叶变换（IFFT）操作。同样，FFT也应用于目标域风格特征以提取振幅谱和相位谱。对目标域振幅谱应用低通滤波以去除目标域噪声并获得目标域风格。目标域局部相位增强的风格融合特征定义为：

其中是点积操作，是低通滤波器的掩码。表示两个输入之间的CMF操作，随后是点乘和全连接层（FC）。这些向量元素相乘，得到的向量通过FC进一步映射以生成目标域相位增强的风格融合特征。为了生成与源域图像具有相同结构但与目标域图像具有相同风格的合成目标域图像，输入到解码器中。也嵌入到解码器的每层中，以生成合成目标域图像，使用自适应实例归一化（AdaIN）：

其中表示上采样和2D残差卷积操作在中的输出特征（中有三次上采样操作），是方差操作，是平均操作。表示目标域局部相位增强的风格融合特征。

为了确保编码器的解耦，源域多尺度域不变特征和源域多尺度风格特征输入到LPSF模块中，然后生成重构的源域图像：

其中是源域局部相位增强的风格融合特征。源域图像的重建旨在保持源域图像的风格和解剖结构。请注意，目标域图像没有标签可用。PSF模块直接用于增强目标域多尺度相位增强的域不变特征，并生成源域相位增强的风格融合特征：

其中是通过FFT获得的的相位谱，和分别表示通过FFT获得的的振幅谱和相位谱。同样，合成源域图像和重构目标域图像是从解码器使用AdaIN生成的，如公式(4)和公式(5)。

B. 相位一致性

为了增强编码器的解耦和移除特定领域的特征，构建了一个相位一致性鉴别器来区分与源域域不变特征和目标域域不变特征相对应的相位一致性特征：

为了生成逼真的合成目标域图像和重构的源域图像，引入了目标域鉴别器进行对抗学习：

为了生成逼真的合成源域图像和重构的目标域图像，引入了源域鉴别器进行对抗学习：

为了确保域不变一致性，这些重构图像应该与原始图像相似；因此，定义了一个双重重建一致性损失：

C. 多周期风格一致性

如图3所示，在风格转移网络的训练中，选择第j个epoch生成的合成目标域图像并表示为，其中，N是选择的总epoch数。从风格转移生成的在图像风格上表现出差异，而感兴趣器官的解剖结构保持相似。因此，设计了一个多周期风格一致性（MESC）模块来测量风格转移过程中的风格一致性。MESC模块由N个分割头组成。如图2所示，表示将不同训练周期的合成目标域图像输入到第j个epoch编码器得到的高级特征。用于产生感兴趣器官的不同风格预测概率，不一致性图可以定义为：

其中是中的第k类概率，是中的第k类概率。对于不一致性图，较大的值表示不同训练周期的风格不一致性更高，意味着之间的预测差异更大。这些不一致区域主要是小目标区域，如器官的头部、尾部和边缘，以及邻近的连接组织。由于患者间的差异，感兴趣器官与周围组织之间的像素差异在不同患者中有所不同。风格转移难以准确转换这些区域。此外，在目标域图像中，器官与周围组织之间的对比度差异小，这使得区分感兴趣器官和周围组织变得困难。因此，不一致性图可以为这些挑战区域提供更多关注。通过利用风格一致性，定义了多周期风格一致性损失：

其中是感兴趣器官的预测概率，是中第l个像素的第k类，是源域图像的真实标签，是中第l个像素的第k类，是中第l个像素的第k类。

D. 风格一致性熵

类似于，可以为目标域图像在不同风格分割头下生成感兴趣器官的预测概率（），并生成相应的预测结果。如果N个预测结果中同一像素的前景值相同，则被认为是可靠的预测结果。目标域图像输入到域不变编码器中，其域不变特征进一步输入到目标域图像分割头（与相同）中，以产生感兴趣器官的预测概率和预测结果。通过对两个预测结果和进行异或操作，可以获得目标域图像的不一致性图。

如图4所示，不一致区域主要分布在胰腺的边界及其连接组织。因此，定义了风格一致性熵（SCE）损失，以关注这些挑战区域：

其中是不一致图中第l个像素的第k类，是感兴趣器官的预测概率图中第l个像素的第k类，是一个小的正值。上述提到的可靠和一致区域用于源域图像和目标域图像的联合训练。通过数据增强和dropout的组合，可以通过将目标域图像输入到目标分割头来产生感兴趣器官的两个预测概率图和。

为了增强目标分割头和共享编码器的鲁棒性，对这两个输出进行对齐。因此，定义了目标域图像的分割一致性损失：

此外，定义了用于训练未标记目标域图像的分割损失：

其中是中第l个像素的第k类。是中第l个像素的第k类，是中第l个像素的第k类。是中第l个像素的第k类。因此，总体风格一致性分割损失定义如下：

IV. 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述