文献日更Adult-Like Phase and Multi-scale Assistance for Isointense Infant Brain Tissue Segmentation

Profile

Adult-Like Phase and Multi-scale Assistance for Isointense Infant Brain Tissue Segmentation

MICCAI2023 Image Segmentation 2, 上科大，沈定刚组

Abstract

精确脑组织分割对婴儿发育跟踪和早期脑疾病诊断至关重要。但是，对6月大婴儿的脑组织自动分割仍具有挑战性，即使是手工标注的，因为出生第一年内固有的持续髓鞘形成。在等信号MRI数据中大脑灰质和白质的强度对比极低。为了解决这个问题，在本研究中，我们提出了一种新颖的网络，用多阶段数据和多尺度辅助信息来精确分割等信号阶段脑组织。具体的，我们的框架包括两个主要模块，即语义保持的生成对抗网络(SPGAN)和基于Transformer的多尺度分割网络(TMSN)。SPAGN双向的传递等信号阶段和类成人阶段的大脑表征。一方面，等信号阶段的合成图像增强了等信号数据集；另一方面，类成人合成图像提供了模糊组织边界的先验知识在配对的等信号阶段数据。TMSN聚合了多阶段图像对的多尺度特征，不仅利用了类成人阶段的数据，类成人阶段的数据有着更清晰的边界作为结构先验，而且利用了周围组织的信息，有着更大的感受野来辅助等强度数据组织分割。公开数据集上的大量实验证明我们提出的框架比SOTA方法有很大的提升。

图1 T1序列图像（第一行）和不同组织的强度分布（第二行）两个典型的婴儿脑部扫描，分别是在等强度和类成人阶段

Methods

我们提出了一种基于Transformer的等强度组织分割算法框架，它包括了两个主要模块：i)语义保留GAN(SPGAN)，和 ii)基于Transformer的多尺度分割网络(TMSN)。图2是框架的overview，SPGAN设计来合成等强度或者类成人数据来增强训练集并且引导分割的解剖学信息(Sect.2.1)。TMSN设计等强度组织分割通过利用合成类成人组织信息。

图2 (a)proposed框架的overview，包括：i) 语义保持GAN(SPGAN), 和ii)基于Transformer的多尺度分割网络(TMSN)；(b)SPGAN框架的细节，省略了判别器；(c)TMSN的细节框架

2.1 语义保持多阶段合成

Motivated by经典未配对图像到图像翻译模型，我们提出了一个新颖的bi-directional generative model来合成等强度数据和adult-like数据，并引入重要的解剖学限制来维持结构一致性在输入图像和对应的合成图像间。如图2(b.1)，SPGAN包含了两个生成器和，还有对应的判别器和。adult-like婴儿图像配准到等强度婴儿图像用仿射变换方法，在训练SPGAN之前。

等强度阶段合成

生成器合成等强度数据从adult-like图像，3D UNet模型构建，包括4个编码器层和4个解码器层。Inspired by GauGAN，我们将空间自适应denormalization(SPADE)加入来保持结构一致性在合成图像和原图之间的结构一致。

代码解析

没公布代码