（脑肿瘤分割笔记：五十二）RFNet: Region-aware Fusion Network for Incomplete Multi-modalBrain Tumor Segmentation

目录

摘要：

Introduction

方法

3.1任务定义

3.2模型结构

3.3RFM模块

概率图学习

区域感知多模态融合

3.4分割正则化器

3.5整体损失函数

总结

---

摘要：

在现有的脑肿瘤分割方法中，常常会出现缺少某些模态图像的问题，从而导致分割网络的性能下降--遇到的问题

在本文中提出了一个区域感知融合网络（RFNet），它能够自适应和有效利用多模态的数据进行组合进行肿瘤分割，考虑到不同模态对不同的脑肿瘤区域的敏感性问题。在RFNet中设计了区域感知融合模块（RFM）根据不同的区域对现有的图像模态进行模态特征融合。得益于这个RFM模块，RFNet可以有效的聚合模态特征，自适应的从不完整的多模态图像中分割出肿瘤区域。

此外还开发了一个基于分割的正则化器，以防止RFNet由于多模态数据不完整而导致的训练不充分和不平衡。具体来说，除了从融合模态特征中获得分割结果外，我们还从相应的编码特征中单独分割每个图像的模态，通过这种方式迫使各模态编码器学习判别特征，从而提高融合特征的表示能力

Introduction

我们的RFNet是由编码器-解码器架构来构建的，其中使用4个编码器从不同的模态中提取特征，为了建立图像形态和肿瘤区域之间的关系。在RFNet中引入了区域感知融合模块（RFM）。RFM首先通过学习到的概率图将模态特征划分到不同的区域（即肿瘤子结构）。概率图表示每个像素处肿瘤区域的概率。然后RFM再每个区域生成相对应的注意权重，自适应的控制不同图像形态的贡献。

由于脑瘤通常占据大脑的一小部分，我们引入区域范数池操作，从每个区域获得一个标准化的全局特征。因此，我们防止全局特征在数值上过小。然后，我们使用两个完全连接的层和一个sigmoid激活从图像模式和肿瘤区域的全局特征中获得注意权重。在这种方式下，RFM将为对某些肿瘤区域更敏感的模式生成更大的权重，从而产生具有辨别性的融合特征，以便进行精确分割

方法

3.1任务定义

不完全多模态脑肿瘤分割是指从Flair、T1c、T1、T2等多种组合的多模态MRI图像中，分割出整个肿瘤、肿瘤核心和增强肿瘤三个脑肿瘤区域。整个肿瘤由所有三个肿瘤子区域组成，即坏死和非增强肿瘤核心(NCR/NET)、瘤周水肿(ED)和gd增强肿瘤(ET)。

3.2模型结构

本文提出的网络结构如下图所示：

如上图所示，使用四个编码器分别从四种模态中提取特征。解码器被设计为分别分割每个模态，从而帮助我们的四个编码器学习有代表性的区域特征，此外对四种图像模态共享权重，使得四种模态可用投影到一个共享的潜在空间中，这也有利于后续的特征聚合和融合。

解码器被设计用来从聚合的特征中获得最终的分割结果，如上图所示每个阶段，编码器的特征由设计的RFM融合。注意RFM不仅接受4个编码器特征，还接受来自前一层的特征作为输入。这是因为之前层的特征可以用来嵌入肿瘤区域的语义信息，从而实现RFM的区域感知。在第四阶段中，RFM没有以前的层特性可以用，因此利用一个额外的卷积层将编码器特征嵌入到图2中融合模块的语义特征中。

3.3RFM模块

考虑到图像模态对不同区域的敏感性不同，我们的RFNet旨在对每个区域的不同模态给予不同的关注。这样可以得到肿瘤区域的判别特征，提高了分割精度。为此，我们开发了一个RFM模块。这个模块旨在以区域识别的方式融合可用模态的特征--使用RFM模块的目的。

其结构如下图：这个模块主要由概率图学习和区域感知多模态特征融合两部分组成

概率图学习

RFM首先学习一个概率图，它表明脑肿瘤结构在每个位置的概率。如上图所示由上一层的的解码器特征和可用编码器特征得到概率图，在RFM中使用编码器特征是因为它们提供了更详细的空间信息，可以提高概率图的准确性，©表示拼接操作，Ω表示模态集，包括Flair, T1c, T1和T2。δm设置为0或1，表示是否缺少m模态，概率图的学习过程为：

表示来自和的特征。i和j分别表示第i个对象和第j个阶段的区域分类器，表示学习到的概率图。ϕj表示第j个阶段的区域分类器，θj为相应的参数。K为脑瘤区域集。在真实标签下，通过加权交叉熵损失和DIce损失学习概率图

，其中N和Snum表示训练数据和阶段数表示第j阶段的上采样操作，其目的是为了使特征图与概率图尺寸相对应。交叉熵损失和Dice损失函数为下

区域感知多模态融合

在概率图的作用下，RFM成功的将多模态的特征划分到不同的区域。因此对每个区域划分的特征进行区域感知融合，通过将特征与概率图相乘来实现特征划分，其表达式为

其中为肿瘤区域k中可用模态的分割特征，为模态m的编码器特征。在模态划分后，在不同区域分别学习模态注意权重来聚合相应的特征。

下图给出了区域K中的注意力权重的生成过程

通过平均池化操作得到区域k的全局特征，然后用概率图进行归一化处理，然后，采用两个全连接层，以及Leaky ReLU层和sigmoid激活，将归一化特征嵌入到模态注意权值中。如图5所示，然后将生成的注意权重应用到划分的特征fk上，调整来自可用模式的贡献，以获得有区别的融合特征。

RFM对每个区域采用单独的注意模块，生成相应的注意权重，如图3所示。通过更多地关注更敏感的模式，RFM能够为每个区域生成更有代表性的特征。

3.4分割正则化器

 缺少多模态的数据会导致训练的不平衡问题，深度神经网络通常主要基于鉴别模式来选择肿瘤区域的分割。一些编码器能够识别相应的脑肿瘤区域，而一些编码器则不能。这会导致分割性能的下降。

为了解决这一问题，提出了分割的正则化器。如网络结构所示RFNet采用权重共享解码器Dsep分别分割出每个模态的图像。取相应的加权交叉熵和DiceLoss作为正则化项表达式为

式子中表示模态m第i个对象的预测分割掩码。基于分割的正则化器强制每个模态编码器对每个肿瘤区域具有区别性。通过这种方式，RFNet能够获得具有代表性的编码器特征，来提高分割性能。

3.5整体损失函数

使用加权交叉熵损失和Dice损失函数将预测结果和相对应的真实标签对应，用式子表示为

其中是来自第i个体素的分割预测结果，我们将RFNet的总体损失函数定义为

总结

在本篇论文中，提出了一个区域感知融合网络，以有效的聚合各种可用的模式，以不完全多模态脑肿瘤分割，新设计的区域感知融合模块RFM考虑到不同的模式对脑肿瘤区域表现出的不同的敏感性·。因此RFM模块从不同的模态图像中获得了更具有代表性的融合特征。此外分割正则化器不仅改善了模态编码器在每个肿瘤区域提取的特征表示，而且加快了RFNet训练。