（脑肿瘤分割笔记：五十九）基于双向全局到局部无监督自适应跨模态的脑肿瘤分割

最新推荐文章于 2024-04-22 19:09:38 发布

不想敲代码的小杨

最新推荐文章于 2024-04-22 19:09:38 发布

阅读量914

点赞数

分类专栏：脑肿瘤分割论文笔记文章标签：计算机视觉人工智能

本文链接：https://blog.csdn.net/weixin_43921949/article/details/127313987

版权

脑肿瘤分割论文笔记专栏收录该内容

26 篇文章 49 订阅

订阅专栏

摘要

在不同的模态之间存在着域转移，当在一种模态上训练并在另一种模态中执行时，网络的性能会急剧的下降--遇到的问题

为了克服这一问题，无监督域自适应提供了有效的解决方案，来缓解标记源数据和未标记目标数据之间的域偏移。本文在无监督域自适应的方案下提出了一种新的双向全局到局部（BiGL）自适应框架。具体而言，提出了一种双向图像合成和分割模块，用于使用为两个域生成的中间数据分布来分割脑肿瘤，其中包括图像到图像转换器和共享加权分割网络。此外，还提出了全局到局部一致性学习模块，以集成的方式构建鲁棒的表示对齐。

Introduction

UDA无监督域自适应方法旨在提高从标记数据（即源域）学习和对不同的未标记数据（如目标域）进行域移位时的模型泛化能力。

我们提出了一个框架，当对另一序列的MR图像（即源域）进行训练时，可以在一个MR图像序列（即目标域）中准确描绘脑肿瘤，反之亦然。在训练阶段，该方法随机选择两幅未配对的图像（每个域一幅图像）作为输入。然后，图像被发送到由两个主要组件组成的框架。

首先，为了缩小两个领域之间的差距，引入了双向图像生成和分割模块。它首先为每个原始图像生成一个合成图像，然后使用编码器-解码器架构分割所有图像（即原始图像和合成图像）应用于网络的新型全局到本地适配器（GTA）进一步调整了图像的特征和输出。从全局角度来看，适配器通过假设一个对象共享同一标签，在输出空间中对齐一个对象的真实图像和合成图像。它还通过常用的特征对齐来对齐不同主题的真实图像和合成图像。

无监督域适应方法

无监督领域自适应方法大致可分为两类，即一步UDA方法和多步领域自适应方法。

一步UDA方法通常通过最小化两个域的距离来简单地对齐它们的特征分布，该方法对原始域数据进行对齐，但网络很难最小化巨大的域差异。

相比之下，多步UDA方法通常在源域和目标域之间引入中间域，以获得更平滑的域对齐，在现有的方法中，这些中间域通常由生成性对抗学习方法生成。

方法

3.1框架概述

构建T1（作为源域）和T2（作为目标域），所拟定的架构如下图所示：

所提出的框架使用两个未配对的图像作为输入。每个图像来自一个域。然后这个网络框架由三个主要部分组成：1）首先使用双向图像到图像转换器从两个输入图像生成两个合成图像2）在这个转换器之后执行4个共享加权分割网络进行分割（分割的对象包括所有输入图像和合成图像）3）在分割网络中插入全局到本地的适配器，从而减少域偏移

3.2双向交叉模态图像合成

这一模块的主要目的在于减少源域（T1）和目标域（T2）之间的域偏移很大，可以通过图像转换器来解决这一问题。具体来说给定未成对输入 $x_{s}\epsilon S,x_{t}\epsilon T$ 分别来自源域和目标域，两个合成图像 $x_{s\rightarrow t },x_{t\rightarrow s },$ 是使用生成对抗性网络生成的。具体来说。来自于Xs的图像生成器尝试通过这种方法生成类似于Xt的图像。

显然这种合成的图像传递了新模态的风格信息和旧模态的纹理信息，他们可以被视为从源域转移到目标域的中间样本。此外除了双向图像合成方案外，本文的方法还建立了一个双向自适应方案。然后将四副图像（两幅真实图像和两幅合成图像）送入一个基于注意的编解码网络进行分割。

3.3注意双重注意的细分网络

UNet的缺点之一是其无法用于捕获高级语义线索的区分特征，为了抑制无关区域，同时突出医学分割任务中的有用特征，卷积神经网络当中广泛的使用了注意力机制（包括SE模块）来增强这种能力。

而在本文中为UNet配备了双重注意力机制，这个机制不仅对高级特征应用空间注意，还应用通道注意力，这种双重注意块插入UNet的编码器和解码路径之间。空间维度为H*W*C的通道特征。位置型注意力机制学习一个H*W*H*W维度的掩码，以揭示每个特征图中面向目标的特征关系。同样C*C维度的通道注意模块揭示了特征图之间的显著性，给定ξ作为注意块的输入，每个注意屏蔽特征ξA的输出可以通过以下式子生成