MimicNet：模拟人类专家手动勾画从多模态MRI中分割脑肿瘤

MimicNet：模拟人类专家手动勾画从多模态MRI中分割脑肿瘤

Applied Soft Computing[2023]

背景

现有的用于从多模式MRI中分割脑肿瘤的深度神经网络主要依赖于标准分割架构，忽略了临床场景中的潜在规则。为了解决这一差距，我们提出了一种新的深度多模式网络，该网络在架构上模拟了这些规则，并完全复制了人类专家在机器中手动注释脑肿瘤的过程。模拟了三个重要的手动注释规则。首先介绍了三个子任务，以按顺序分割三个区域。我们在每个子任务中加入了一个细粒度的模态注意力模块，以模拟区域感知的多模态融合。最后，我们提出了用于多尺度上下文开发的深度特征传播模块，并将深度级联注意力重新用于位置信息开发。这些利用模仿了早期的分割知识利用。我们使用新的课程损失来训练嵌套网络，并使用分层训练方法来减少数据集分布引起的模态内域偏移。在三个公共数据集上对所提出的方法进行了评估，并将其与最先进的方法进行比较：BraTS2018、BraTS2019

贡献

1. 我们介绍了一种新的DNN模型，该模型在架构上模拟了基本的手动注释规则，以在机器中复制人类专家对脑肿瘤的手动分割过程；
2. 我们提出了一种细粒度模态注意力模块，用于高粒度和临床可解释的多模态融合。我们还引入了一个深度特征传播模块，以促进子任务之间有价值的知识转移；
3. 我们提出了一种新的课程损失，作为课程学习的轻量级替代方案，以实现简单高效的端到端培训；

勾画方式

临床相关性事实上，专家在临床实践中手动分割肿瘤时，会遵守特定的方案。在FLAIR图像的检查下：

1. 首先在T2图像上分割整个肿瘤（WT）区域，该区域包括水肿（ED）、增强（ET）和坏死（NCR）/非增强（NET）亚区域。
2. 接下来，通过评估T1ce图像的高强度和低强度（与T1图像和T1ce图像中的健康白质相比），在WT内描绘包括ET和NCR/NET子区域的肿瘤核心（TC）区域。T2图像上具有超强度的区域可以进一步识别为ED子区域，以交叉检查TC。
3. 最后，通过在所得TC内对T1ce图像上的超强度进行阈值化来绘制ET区域的轮廓。

基于上述手动分割过程，我们可以提取出以下三个主要规则：

• 顺序分割。专家通常按顺序分割三个区域，从肿瘤外部边界开始，向内部边界前进（即，遵循WT、TC和ET的顺序），而不是同时识别它们。
• 区域感知多模式融合。专家们在对每个区域进行分割时，会利用多模式核磁共振成像中不同程度的互补信息。例如，他们主要利用T2和Flair图像进行WT分割，而依赖T1和T1ce图像进行ET分割。
• 先验分段（先验seg）知识利用。专家在先前分割的区域中识别后续区域，揭示了对先前位置信息的利用。此外，在描绘前一个区域时，专家们会仔细检查其内部，同时记住下一个区域的多尺度背景（边缘、纹理、形状等）。这种记忆可以指导后续区域的分割，揭示对先前多尺度上下文的利用。

实验

BraTs 18,19,20

预处理：在输入网络之前，多峰体积被非零提取，强度被归一化为单个体积的零均值和单位方差，以进行标准化和均质化。

后处理：在获得网络预测后，我们进行后处理。首先，如果预测的增强肿瘤体素的总数低于指定阈值，则用坏死替换所有增强的肿瘤体素。其次，进行连通分量分析，并去除任何小分量。通过优化平均DSC，为每个数据集独立地确定阈值。

BraTs2020 排名第六

方法

Backbone of DFS-UNet for individual region segmentation

该框架由多编码器、共享权重解码器和跳跃连接中的融合块组成
利用组号等于模态号的组卷积来构建多编码器，便于提取模态特定和多尺度特征。在瓶颈级别，模态特定特征通过级联和1×1×1卷积简单地融合（320维度的就是融合后的特征图）。然后，这些融合的特征被馈送到共享权重解码器中，该解码器具有与多编码器对称的结构。

FGMA module for multimodal fusion

FGMA是个特征融合模块，输入时两个特征图 Xind、Xg，Xind分成4个特征图分别是4个模态，利用融合后的特征图Xg和每个Xi加权融合得到Si，Si和Xi相乘得到Xi’，把Xi’和Xg再用相同的方式通过全局注意力计算全局注意力特征Xi’‘，最后一个残差连接，把原始Xind与经过两次注意力的Xi’'进行残差连接得到Xfuse。
其中GridAtt是空间注意力，GlobAtt是全局注意力

Prior-seg knowledge exploitation

先前的子任务可以利用两种基本形式的先验知识，即多尺度上下文和位置信息

Multi-scale feature exploitation

DFP的输入是Xprev和Xnext，Xprev是用于分割WT的粗糙特征图，它对分割TC是有用的，Xprev和Xnext拼接后计算Xprev的概率图，Xprev’再拼接Xnext，再卷积融合，得到DFP的输出

我们首先利用来自先前seg的多尺度上下文。考虑到在DFS UNet的初始层中提取的特征是相对局部的（例如，边缘、拐角和梯度），并且不太容易受到区域类型的影响，因此我们主张TC和ET子任务直接重用WT子任务中的精细尺度特征。此操作带来了减少模型冗余的额外好处。具体如图2所示，多编码器的前两个块在三个DFS UNet之间共享。然而，直接重用先验中的粗尺度特征会遇到两个挑战，== 首先，只有包含可辨别的目标肿瘤结构的特征图才是需要重复使用的，因为这种类型的特征图可以将目标区域与其在先前分割区域内的周围区域区分开来。其次，目标区域外的激活（由颜色曲线指示）可能会对分割产生负面影响和干扰。 ==考虑到这些因素，我们提出了一个深度特征传播（DFP）模块来重用前面子任务中最有价值的粗尺度特征。

Location information exploitation

LIP的输入是WT的精细特征图Xo和共享编码器特征Xs，提取Xo的概率图作为位置信息指导Xs，再加上残差连接，得到位置特征

我们采用了Xu等人[16]【Deep cascaded attention network for multi-task brain tumor segmentation】提出的深度级联注意力模块来利用先前seg中的位置信息。我们利用前一个子任务的输出X o作为位置重用池，挖掘位置信息并将其传播到共享编码器X s。此操作限制了特定区域内后续子任务的学习，从而产生更多特定于任务的特征。为了与我们的动机保持一致，我们将模块重命名为位置信息传播（LIP）。

Curriculum loss function

提出了一种新的损失函数，称为课程损失（CL损失），它建立在课程学习策略的基础上[38]。基本上，Dice损失和二进制交叉熵损失用于每个子任务的输出。深度监督特别用于允许在每个尺度上进行直接有效的更新，减轻训练期间的消失梯度，特别是对于距离输出更远的层。每个子任务的损失可以给出为：


CL损失函数是通过在计算总损失时将知道任务难度的动态权重分配给三个子任务来制定的。考虑到WT通常比TC更容易细分，TC也比ET更容易细分。因此，采用课程，按照WT、TC和ET的顺序训练任务。

Thinking

利用WT、TC、ET的分割顺序，分割难度，优先分割WT，用分割WT的知识引导分割TC，再用分割TC的知识引导分割ET。引导过程中使用注意力系数。对三个类别逐层分割