一种用于脑肿瘤和组织分割的具有体积特征对齐的三维跨模态特征交互网络

一种用于脑肿瘤和组织分割的具有体积特征对齐的三维跨模态特征交互网络

IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 27, NO. 1, JANUARY 2023

背景

由于模态之间的复杂关系，使用简单多模态融合策略的三维全卷积网络（3DFCN）很难学习模态之间复杂和非线性的互补信息。同时，低层次和高层次特征之间的不区分特征聚合容易导致三维FCN中的体积特征失准。另一方面，3D FCN的3D卷积运算在建模局部关系方面非常出色，但在捕捉体积图像中的远处区域之间的全局关系方面通常效率低下。为了解决这些问题，我们提出了一种对齐的跨模态交互网络（ACMNET），用于从MR图像中分割脑肿瘤和组织的区域。在该网络中，首先设计了跨模态特征交互模块，以自适应、高效地融合和细化多模态特征。其次，开发了体积特征对齐模块，用于通过可学习的体积特征变形场动态对齐低级和高级特征。第三，我们提出了用于空间和通道维度上基于图的全局上下文建模的体积对偶交互图推理模块。

最近的相关工作[36]、[58]、[59]、[60]采用图卷积运算来捕获医学图像分割中的全局信息
[36] Z. Liu et al., “CANet: Context aware network for brain glioma segmentation,” IEEE Trans. Med. Imag., vol. 40, no. 7, pp. 1763–1777, Jul. 2021.
[58] Y. Meng et al., “Graph-Based region and boundary aggregation for biomedical image segmentation,” IEEETrans.Med.Imag., vol. 41, no. 3, pp. 690–701, Mar. 2022.
[59] S. Pang et al., “SpineParseNet: Spine parsing for volumetric MR image by a two-stage segmentation framework with semantic image representation,” IEEE Trans. Med. Imag., vol. 40, no. 1, pp. 262–273, Jan. 2021.
[60] S. Y. Shin et al., “Deep vessel segmentation by learning graphical connectivity,” Med. Image Anal., vol. 58, 2019, Art. no. 101556.

贡献

在本文中，我们提出了一种称为ACMNet的统一网络，用于从多模式MR图像中分割脑组织和肿瘤区域。在我们提出的方法中，设计了基于跨模态分支注意机制的跨模态特征交互（CMFI）模块，以自适应、高效地融合和细化多模态特征。为了缓解特征聚合过程中的体积特征错位，我们开发了体积特征对齐（VFA）模块，用于通过可学习的体积特征变形场动态对齐低级和高级特征。为了克服三维卷积运算在远距离区域关系推理中的低效性，我们设计了一个体积双交互图推理（VDIGR）模块，用于空间和通道维度的图表示和推理。与其他最先进的方法相比，实验结果表明，ACMNET在脑胶质瘤、前庭神经鞘瘤和脑组织分割任务中产生了更高或非常相似的分割性能和更好的计算效率。

1. 我们开发了一个跨模态特征交互模块，用于在分割网络的编码阶段自适应、高效地融合和细化多模态特征。
2. 我们提出了一个体积特征对齐模块，用于分割网络解码阶段低级别和高级别特征之间的特征聚合。
3. 通过在两个不同的图空间中的图表示和关系推理，我们设计了一个用于空间和通道维度的全局上下文建模的体积对偶交互图推理模块。
4. 我们构建了用于分割脑肿瘤和组织区域的对齐跨模态交互网络（ACMNET），该网络结合了上述三个模块。实验结果表明，在没有额外模型结构集合的情况下，ACMINet在所有四个基准数据集上都实现了最先进的分割性能。

实验

BraTs18 20，“Vestibular Schwannoma Segmentation Dataset”，“Brain Tissue Segmentation Dataset: The iSeg-2017 datase”，做了特征可视化和余弦相似度分析；对特征对齐模块进行特征可视化；图形推理组件的特征可视化；

各种可视化展示

方法

Cross-Modality Feature Interaction Module

分组、交互、融合。把T1、T1ce分为一组，T2、flair分为一组。由于每个模态对内的图像信息是一致的，而不同模态对之间的信息是不同的和互补的[11]，[44]，因此模态对分组操作用于显著降低多个分支的计算成本，并有效地学习CMFI模块中的多模态信息。
[11] Y. Wang et al., “Modality-pairing learning for brain tumor segmentation,” in Proc. Int. MICCAI Brainlesion Workshop, 2021, pp. 230–240.
[44] D. Zhang et al., “Cross-modality deep feature learning for brain tumor segmentation,” Pattern Recognit., vol. 110, 2021, Art. no. 107562.

把两组分别进行卷积，提取独特特征，把不同组的特征拼接过来，中间Cross-Modality Branch Attention提取拼接过的注意力权重，分别用了全局平均池化和全局最大池化。把注意力权重乘给两组，分别对两组进行加权，把加权后的两组特征以及原始特征图拼接，再卷积融合，得到融合特征。

Volumetric Feature Alignment Module

不同尺度的特征融合，一个来自编码器，一个来自解码器，代替了传统的拼接融合操作。
利用可学习的体积特征变形场φ∈RD×W×H×3来学习早期和晚期特征之间的空间位移
[50] G. Balakrishnan, A. Zhao, M. R. Sabuncu, J. Guttag, and A. V. Dalca, “VoxelMorph: A learning framework for deformable medical image registration,” IEEETrans.Med.Imag., vol. 38, no. 8, pp. 1788–1800, Aug. 2019.

Warp操作

grid是三维空间中的一个均匀分布的网格大小和输入一样
F.grid_sample对input进行采样插值操作，grid表示采样点的坐标网格张量，根据grid中的坐标值，再input中进行插值操作，生成output，align_corners=False参数表示不对齐角点，可以控制插值的边界条件。

Volumetric Dual Interaction Graph Reasoning Module（体积对偶交互推理模块）

为了克服卷积运算在不相交和遥远区域的关系推理中的低效性（没有长距离依赖），基于先前彩色图像中的2D图表示和推理方法[34]，[57]，我们设计了一个用于基于图的全局上下文建模的体积对偶交互图推理（VDIGR）模块，我们提出的VDIGR模块包含两个图推理模块：空间交互图推理（SIGR）模块和特征交互图推理模块。通过组合SIGR和FIGR模块生成的两个不同但互补的关系感知特征，我们提出的VDIGR模块可以获得丰富的全局上下文信息，以实现更好的分割性能。在图卷积网络[62]中，交互图G={Vg，Eg，Ag}通常由交互图节点Vg、交互节点Eg之间的边和邻接矩阵Ag定义。为了在分割网络中构建图结构，一种常见的方法是通过对相干空间区域或特征通道进行聚类，将图像特征投影到具有较少维度和密集表示的交互图空间[65]，[66]。

SIGR的绿块是个self-attention操作，再映射到图空间，以及残差连接，不过SIGR先下采样了一下，最后上采样回去再残差连接
FIGR通过两个1x1x1卷积得到两个不同通道数的特征图，转置相乘，得到c/2 x c/4大小的特征，再构建c/2 x c/4的图，对刚开始得到的特征加权，再卷积得到加权特征，然后残差连接
把SIGR和FIGR得到的特征图拼接，卷积融合，得到融合特征

损失函数

对不同层的特征进行深度监督，Dice损失函数

Thinking

整体是对3DUNet的改进，把DoubleConv改成Cross-Modality Feature Interaction Module，先对模态分组，计算注意力，对每组的特征进行加权，残差连接，两组特征和原始特征拼接融合；把UNet的跳跃连接换成Volumetric Feature Alignment Module，对不同尺度的特征进行体积形变场上的对齐；在瓶颈层加入了Volumetric Dual Interaction Graph Reasoning Module，相当于一个Transformer，和TransBTS的思想很像，都是在瓶颈层加入Transformer，获得长距离依赖。