文献速递：多模态深度学习在医疗中的应用--多模式婴儿脑分割技术：模糊引导深度学习

Title 

题目

Multimodal Infant Brain Segmentation by Fuzzy-informed Deep Learning

多模式婴儿脑分割技术：模糊引导深度学习

01

文献速递介绍

日益普及的非侵入式婴儿脑磁共振图像（MRI）为准确理解脑主要发展轨迹的动态性提供了机会，从而增加了我们对早期脑发育阶段的了解，并提供了关于神经生长障碍（例如自闭症和精神分裂症）根源和异常生长模式的直觉。例如，两岁以下的自闭症儿童被观察到脑部过度生长，这取决于皮层表面积的增加。大多数神经发育性疾病使用缓解而不是治疗性药物进行治疗，对这些疾病的早期识别将使定向的预防性干预政策有望提前或消除它们。为了评估早期脑发育并识别生物标志物，将MRI分割为感兴趣区域（ROI），如灰质（GM）、白质（WM）和脑脊液（CSF），是最重要的阶段。这种方法能够有效地量化GM和WM的体积结构（例如表面积、皮质厚度和皱褶），从而提供有关神经解剖发展的早期进程的重要线索。在这一时刻精确地分割婴儿脑MRI组织对于理解正常和异常的早期脑发育有着重要影响。婴儿脑分割被广泛认为比成人脑分割要困难得多，这是由于组织对比度降低、噪音增强、白质髓鞘化持续以及严重不完整体积的影响。已经采用了多种方法，通常集中于三个月以上或一岁以上的婴儿的图像，通过单一模态（T1或T2）]。这些图像经常显示出白质和灰质组织之间相当低的对比度，导致错误的检测和误分类，从而阻止了准确的分割。因此，对于这一任务的自动化深度学习（DL）方法需要改进。多模态医学图像对于病理学方法的发展和提高统计表征能力以检测脑发育过程并识别生物标志物至关重要。鉴于医学图像分割的重要性和手动进行分割的复杂性，已经引入了许多医学图像分割方法，主要针对模态，通常通过集成来克服独立成像技术的缺点。融合多个MRI模态对于实现婴儿脑分割的精确结果至关重要，特别是对于低对比组织。最近在多模态医学成像方面的进展增加了疾病诊断的负担。这些方法耗时、容易出错，并且不适合广泛的研究。因此，高效而可靠的多模态分割方法对医学界具有重要意义。这促使我们将婴儿脑分割作为多模态分割问题来解决。

Abstract

摘要

Magnetic resonance imaging (MRI) is a prevailingmethod of modal infant brain tissue analysis that preciselysegments brain tissue and is vitally important for diagnosis,remediation, and analysis of early brain development. To achieve such segmentation is challenging, particularly for the brain of a six-month-old, owing to several factors: 1) poor image quality; 2)isointense contrast between white and gray matter and the simpleincomplete volume consequence of a tiny brain size; and 3)discrepancies in brain tissues, illumination settings, and the vagarious region. This paper addresses these challenges with a fuzzy-informed deep learning segmentation (FI-DL-Seg) network**that takes T1- and T2-weighted MRIs as inputs. First, a fuzzylogic layer encodes input to the fuzzy domain. Second, A volumetric fuzzy pooling (VFP) layer models the local fuzzinessof the volumetric convolutional maps by applying fuzzification,accumulation, and defuzzification on the adjacency feature map*neighborhoods. Third, the VFP layer is employed to design the *fuzzy-enabled multiscale feature learning (F-MFL) module to enable the extraction of brain features in different receptivefields. Finally, we redesign the Project & Excite module using the VPF layer to enable modeling uncertainty during featurerecalibration, and a comprehensive training paradigm is used to learn the ideal parameters of every building block. Extensive experimental comparative studies substantiate the efficiency and accuracy of the proposed model in terms of different evaluationmetrics to solve multimodal infant brain segmentation problems on the iSeg-2017 dataset.

磁共振成像（MRI）是一种流行的婴儿脑组织分析方法，能够精确地分割脑组织，对早期脑发育的诊断、矫正和分析至关重要。实现这种分割是具有挑战性的，特别是对于六个月大的婴儿的大脑，原因如下：1）图像质量较差；2）白质和灰质之间的等强对比及体积不完整的结果；3）脑组织、照明设置和变异区域之间的差异。本文通过一种模糊引导的深度学习分割（FI-DL-Seg）网络来解决这些挑战，该网络以T1-和T2加权MRI作为输入。首先，一个模糊逻辑层将输入编码为模糊域。其次，一个体积模糊池化（VFP）层通过在邻域特征图上应用模糊化、积累和去模糊化来模拟体积卷积地图的局部模糊性。第三，利用VFP层设计模糊启用的多尺度特征学习（F-MFL）模块，以实现在不同感受野中提取脑特征。最后，我们使用VFP层重新设计Project & Excite模块，以在特征重新校准过程中建模不确定性，并使用全面的训练范式来学习每个构建块的理想参数。大量的实验比较研究证实了所提出模型在解决iSeg-2017数据集上的多模式婴儿脑分割问题时在不同评估指标方面的效率和准确性。

Method

方法

We explain the proposed fuzzy-informed deep learning segmentation (FI-DL-Seg) guided network, the relevantprinciples, and building blocks to learn multimodalinformation from MRI images. The architecture is presented inFig. 2, which include three main processes, such as the image refinement, fuzzy-enabled multi-scale learning and deep supervision. A volumetric fuzzy pooling layer models the local fuzziness of the volumetric convolutional maps by applying fuzzification, accumulation, and defuzzification on the adjacency feature map neighborhoods. The VFP layer is employed to design the fuzzy-enabled multiscale feature learning (F-MFL) module to enable the extraction of brain features in different receptive fields. Meanwhile, we introduce a fuzzified multichannel dense model for multimodal segmentation. Every MRI modality has its own channel and all layers from all channels are densely connected. The main construction processes of FI-DL-Seg are described as follows:

我们解释了提出的模糊引导深度学习分割（FI-DL-Seg）引导网络，相关原理和从MRI图像中学习多模态信息的构建模块。该架构如图2所示，包括三个主要过程，即图像细化、模糊启用的多尺度学习和深度监督。体积模糊池化层通过在邻域特征图上应用模糊化、累积和去模糊化来模拟体积卷积地图的局部模糊性。VFP层用于设计模糊启用的多尺度特征学习（F-MFL）模块，以实现在不同感受野中提取脑特征。同时，我们引入了一种用于多模态分割的模糊多通道密集模型。每个MRI模态都有自己的通道，所有通道的所有层都是密集连接的。FI-DL-Seg的主要构建过程如下描述：

Conclusion

结论

In this paper, we provide a volumetric framework for braintissue segmentation from a whole MRI image that can beadopted for various multimodal MRI settings. The proposedfuzzification layer is shown to reduce uncertainty within MRI images and feature maps. Making use of dilated convolutioneffectively helps to capture multiscale features, and thus to further fine-tune the segmentation quality. The 3Drecalibration of DenseNet output can enable better exploitationof 3D spatial information and hence it can boost therepresentative capabilities of features. We adopt BN to attainthe rapid and optimal network convergence, and a trainablefuzzy module to minimize the uncertainty of feature maps. Experimental comparisons validated the effectiveness of fuzzyguidance and deep supervision structures. Such superiorsegmentation performance validated our model as an accurateand trustworthy tool to identify and assess the humanneurodegeneration.

本文提出了一种从整个MRI图像进行脑组织分割的体积框架，可适用于各种多模态MRI设置。所提出的模糊化层被证明能够减少MRI图像和特征图中的不确定性。有效利用膨胀卷积有助于捕获多尺度特征，从而进一步调优分割质量。DenseNet输出的三维重新校准可以更好地利用三维空间信息，从而提高特征的代表性能力。我们采用BN来实现快速和最佳的网络收敛，并采用可训练的模糊模块来最小化特征图的不确定性。实验比较验证了模糊引导和深度监督结构的有效性。这种优越的分割性能验证了我们的模型作为一种准确可靠的工具，用于识别和评估人类神经退化。

Figure

图

Fig. 1. Sample of MRI of a six-month-old. (a) Mid-axial T1-weighted slice,(b) T2-weighted slice, and (c) Ground-truth mask.

图1. 六个月大婴儿的MRI样本。(a) 中轴T1加权切片， (b) T2加权切片，以及 (c) 地面真实掩膜。

Fig. 2. Architecture of proposed fuzzy-guided-framework for multimodal brain MRI segmentation

图2. 提出的用于多模态脑MRI分割的模糊引导框架架构

Fig. 3. Architecture of proposed dilation inception module

图3. 提出的膨胀启动模块的架构

Fig. 4. Architecture of proposed multichannel dense connection

图4. 提出的多通道密集连接的架构

Fig. 5. Architecture of fuzzy project and excitation block.

图5. 模糊项目和激励块的架构

Fig. 6. Sample of segmentation outcomes for unimodal and multimodal schema. (a) Ground truth, (b) Unimodal FI-DL-Seg on T1-weighted image, (c) Unimodal FI-DL-Seg on T2-weighted image, and (d) Multimodal FI-DL-Segon T1 and T2 weighted images.

图6. 单模态和多模态方案的分割结果示例。(a) 地面真实情况，(b) T1加权图像上的单模态FI-DL-Seg，(c) T2加权图像上的单模态FI-DL-Seg，以及(d) T1和T2加权图像上的多模态FI-DL-Seg。

Fig.7. Performance of the proposed FI-DL-Seg on the subjects of iSeg-2017 datasets. (a) DSC, (b) MHD, and (c) AHD

图7. 提出的FI-DL-Seg在iSeg-2017数据集的主题上的性能。(a) DSC，(b) MHD，和(c) AHD。

Fig. 8. Average DSC of FI-DL-Seg on unimodality/multimodality images.

Fig. 8. FI-DL-Seg在单模态/多模态图像上的平均DSC。

Fig. 9. Average DSC of our model with/without BN.

Fig. 9. 我们模型的平均 DSC（Dice similarity coefficient），带有/不带有 BN（Batch Normalization）的情况。

Fig. 10. Average DSC of our model using different weight initialization methods.

Fig. 10. 我们模型使用不同的权重初始化方法的平均DSC。

Fig. 11. Average DSC of our model againstbaseline version without F-MSL.

Fig. 11. 我们模型相对于没有F-MSL的基线版本的平均DSC。

Fig. 12. DSC from implementing the F-MSL.

Fig. 12. 通过实施F-MSL获得的DSC。

Fig. 13. Average DSC for FI-DL-Seg with/without PE.

Fig. 13. FI-DL-Seg带有/不带有PE的平均DSC。

Fig. 14. Average DSC for FI-Inf-Seg with/without fuzzification.

Fig. 14. FI-Inf-Seg带有/不带有模糊化的平均DSC

Table

表

Table I. Proposed hyperparameters

表I. 提出的超参数

Table II. Parameters of iSeg-2017 datasets

表II. iSeg-2017数据集的参数

Table III. Performance comparison on ISeg2017 dataset.

表III. iSeg2017数据集上的性能比较

Table IV. Significant test results (p-values) attained by FI-DL-Seg against baseline architecture.

表IV. FI-DL-Seg与基准架构之间获得的显著性测试结果（p值）。