医图顶会 MICCAI‘23 | 通过一致性正则化的解耦对比学习实现半监督领域自适应医学图像分割

最新推荐文章于 2025-04-29 17:57:56 发布

大靠山

最新推荐文章于 2025-04-29 17:57:56 发布

阅读量980

点赞数 23

文章标签：学习计算机视觉人工智能知识图谱性能优化 prompt microsoft

本文链接：https://blog.csdn.net/m0_59235245/article/details/144300567

版权

论文信息

题目：Semi-supervised Domain Adaptive Medical Image Segmentation Through Consistency Regularized Disentangled Contrastive Learning

通过一致性正则化的解耦对比学习实现半监督领域自适应医学图像分割

源码链接：https://github.com/hritam-98/GFDA-disentangled

论文创新点

风格和内容信息的解耦：作者提出在紧凑的嵌入空间中解耦风格和内容信息，并使用联合学习框架进行处理。这种方法使得模型能够更好地学习领域不变和内容特定的特征表示。
编码器预训练的双重对比学习策略：提出了使用两种对比学习策略对编码器进行预训练的方法，即风格对比学习（Style CL）和内容对比学习（Content CL）。这两种策略分别从嵌入空间中学习风格和内容信息，并通过联合学习互补，以促进模型学习领域不可知和内容特定的信息。
像素级一致性约束与特征传播模块：为了增强模型在像素级的特征学习能力，作者引入了一个像素级一致性约束和密集特征传播模块（DFPM）。这种设计有助于模型在保持全局图像级表示的同时，增强对局部结构的敏感性，这对于密集分割任务至关重要。
半监督领域自适应方法的扩展性：作者不仅提出了一种有效的SSDA方法，还通过实验验证了该方法可以轻松扩展到无监督领域自适应（UDA）设置中，并在两个广泛使用的领域自适应分割任务中取得了优于现有最先进方法的性能。

摘要

尽管无监督领域适应（UDA）是缓解领域偏移的一个有前景的方向，但它们的表现仍然不如有监督的对应方法。在这项工作中，作者探讨了较少被探索的半监督领域适应（SSDA）在医学图像分割中的应用，其中获得少量目标样本的标注可以显著提高适应性能。具体来说，作者提出了一个两阶段训练过程。首先，在自学习范式中使用一种新颖的领域-内容解耦对比学习（CL）以及像素级特征一致性约束对编码器进行预训练。所提出的CL强制编码器从源和目标图像中全局尺度学习具有区分性的特定内容但领域不变的语义，而一致性正则化通过保持空间敏感性来强制挖掘局部像素级信息。这个预训练的编码器以及解码器进一步使用半监督设置对下游任务（即像素级分割）进行微调。此外，作者通过实验验证了所提出的方法可以轻松扩展到UDA设置，增加了所提出策略的优越性。在两个领域自适应图像分割任务上的评估中，作者所提出的方法在SSDA和UDA设置中都优于SoTA方法。

关键词

对比学习、风格-内容解耦、一致性正则化、领域适应、分割

2. 提出的方法

给定源域图像-标签对，少量目标域图像-标签对，以及大量未标记的目标图像，作者提出的预训练阶段以自监督的方式从中的图像中学习，无需任何标签。以下在SSDA中的微调考虑中的图像-标签对进行监督学习，同时在目标域的未标记图像中进行无监督预测一致性。作者的工作流程如图1所示。

2.1 高斯傅里叶领域适应（GFDA）

操纵频率域的低级振幅谱是风格转换的最简单方法之一[26]，而不会显著改变高级语义的视觉。然而，如[26]中所观察到的，生成的图像包含由于在矩形掩模周围的振幅突然变化而引起的不连贯的暗斑。相反，作者提出了一个高斯掩模，以实现频率中的更平滑过渡。设和分别为RGB图像的频率空间中的振幅和相位谱，表示逆傅里叶变换。作者定义了一个与大小相同的二维高斯掩模，其中是标准差。给定两个随机采样的图像和，作者提出的GFDA可以被表述为：

其中表示逐元素乘法。它生成了一个保留来自S的语义内容但保留来自T的风格的图像。互惠对也使用相同的方法制定。源和目标图像以及风格转换版本随后用于下面的对比预训练。GFDA的可视化显示在补充文件中。

2.2 在解耦的域和内容上的CL

作者的目标是学习对源或目标域的风格不变的区分性内容特定特征，以便更好地预训练网络以完成手头的任务。因此，作者提出从图像中解耦风格和内容信息，并在新颖的解耦CL范式中联合学习它们：风格CL（SCL）和内容CL（CCL）。所提出的SCL强制学习域特定属性，而CCL强制模型识别ROI，而不考虑空间语义和外观。在联合学习中，它们互补地使模型学习领域不可知和内容特定的信息，从而缓解领域困境。图像集及其增强版本通过编码器，然后通过两个并行投影头，即风格头（）和内容头（）获得相应的嵌入。下面推导出两种不同的损失：风格对比损失和内容对比损失。假设（及其增强）具有源风格表示（风格A），而（及其增强）具有目标风格表示（风格B），在风格CL中，来自同一域（风格）的嵌入被分组在一起，而来自不同域的嵌入在潜在空间中被推开。考虑第个锚点及其对应的风格嵌入（风格B），作者定义正集由相同的目标域表示组成，，负集具有不同的源域表示，。遵循SimCLR[5]作者的风格对比损失可以被表述为：

其中风格B；风格A，定义余弦相似度，是温度参数[5]。类似地，作者为内容头定义为：

其中。这些对比损失，连同下面的一致性约束，强制编码器提取领域不变和内容特定的特征嵌入。

2.3 一致性约束

解耦的CL旨在学习全局图像级表示，这对实例区分任务很有用。然而，分割归因于学习密集的像素级表示。因此，作者提出了一个额外的密集特征传播模块（DFPM）以及一个带有指数移动平均（EMA）参数的动量编码器来自。给定图像的任何像素，作者通过传播同一图像中其他像素的特征来转换其从获得的特征：

其中是线性变换层，表示矩阵乘法操作。这种空间平滑的学习表示对于结构敏感性很有用，这是密集分割任务的基础。作者强制中的这种平滑特征和常规特征之间的一致性：

其中表示空间距离，是一个阈值。总体预训练目标可以总结为：

2.4 半监督微调

预训练阶段之后，使用学生-教师框架[18]进行半监督微调。预训练的编码器和解码器用作学生分支，而相同但不同初始化的编码器-解码器网络用作教师网络。作者在标记集上计算监督损失，以及在未标记集上学生和教师分支预测之间的正则化损失：

其中表示交叉熵损失，表示学生和教师编码器和解码器网络。学生分支使用综合损失进行更新，而教师参数（）使用来自学生参数（）的EMA进行更新：

其中跟踪步骤号，是动量系数[9]。总结来说，总体SSDA训练过程包含预训练（小节2.1-小节2.3）和微调（小节2.4），而作者仅使用学生分支（）进行推理。

3. 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述