Brain tumor segmentation based on the fusion of deep semantics and edge information in multimodal MR

多模态MRI中基于深度语义与边缘信息融合的脑肿瘤分割

背景

现有的大多数方法都侧重于深度语义特征的提取和选择，而忽略了一些对分割问题具有特定意义和重要性的特征。本文提出了一种基于多模态MRI中深度语义和边缘信息融合的脑肿瘤分割方法，旨在实现更充分的多模态信息利用，实现准确分割

贡献

1. 同时利用了深度语义特征和特定边缘特征；
2. 在 Swin Transformer 中引入了一种移位补丁标记化策略用于提取语义特征；
3. 使用 Sobel 算子的边缘空间注意力块 （ESAB） 来增强以渐进方式提取的边缘特征；
4. 设计了一种基于图卷积的多特征推理块（MFIB）融合边界特征和语义特征；
   包括：语义分割模块、边缘检测模块、特征融合模块
   语义分割用的Swin Transformer，引入shifted patch tokenization
   边界检测用的CNN，提出ESAB边缘空间注意力块，进行特征增强
   特征融合块，融合语义特征和边缘特征，基于图卷积的特征推理块MFIB，进行特征推理和信息传播，实现有效的特征融合

实验

据集 BraTs 18,19,20，
数据处理：所有模态的扫描都是切片的，每个切片的大小为 240 × 240。对于语义分割模块，所有四种模态都用作输入。对于边缘检测模块，输入由 FLAIR 和 T1ce 模式组成。此外，对原始数据进行流行的 z -score归一化。（2D的）

都是和2D方法比的

方法

语义分割块：

主要是这个shifted patch策略
Swin Transformer和改进的patch merging，shifted patch tokenization，由于Transformer无法捕获局部特征，设计了shifted patch tokenization策略，在输入之前嵌入更多的空间信息，增加Transformer的局部感应能力，在patch分区之前从四个方向移动，然后拼接原始输入及其移位后的影像，最后及逆行patch分区和linear embedding

边缘检测块：

通过补充脑肿瘤的边缘信息，可以提高分割性能。但是，边缘要素是浅层要素。直接使用最后一个卷积块的特征会迫使深度网络捕获浅层边缘特征，从而影响边缘特征的提取性能。同时，中间层还可以带来丰富的边缘信息卷积特征。因此，有必要利用所有的卷积层来获得更丰富的特征。
为了增强边缘特征，通过卷积块获得的特征通过边缘空间注意力块进行细化，Sobel卷积用于ESAB，渐进式丰富边缘特征，最后上采样重建边缘检测结果
边缘检测这块的输入只用flair和T1ce两个模态。

特征融合块：

由4个多特征推理块组成，用于融合边界特征和语义特征，基于图卷积。将输入特征从空间域映射到图域，具有相似特征的像素可以居合道一个节点中，生成语义感知的图特征。
第一个MFIB的输入恰好是语义分割模块和边缘检测模块中第一阶段获得的语义特征和边缘特征。对于最后三个MFIB，将前一个模块获得的融合特征添加到相应的原始特征中以生成输入。输出的两个是加到上面的两个。FLAIR和T1ce模式可以有效地捕获多种类型肿瘤区域（如ED和ET）的边缘。边缘信息实际上在脑肿瘤分割方面非常重要，因为它不仅有助于更好地定位肿瘤，而且有利于分割区域的边界精度[15 16]。认为边缘信息可以很好地补充深度语义信息。

损失函数

分割损失，BCEDice Loss

边界损失，边缘检测问题，类不平衡问题很重要，【38】CRF+Dice

融合损失，seg+edge，结构一样，输入不一样

训练策略：先用Lseg和Ledge训练语义编码器、边界编码器，然后用Lfusion训练整个模型

Thinking

语义特征编码器（Swin Transformer 改进了分patch的方式），边缘特征编码器（Sobel卷积，渐进式特征提取增强），特征融合模块（语义特征和边缘特征融合，图卷积）；训练策略，先训练编码器，再训练整个模型。

边缘对分割重要的依据
[15] T. Cheng, X. Wang, L. Huang, W. Liu, Boundary-preserving mask r-cnn, in: European Conference on Computer Vision, Springer, 2020, pp. 660–676.
[16] D. Acuna, A. Kar, S. Fidler, Devil is in the edges: Learning semantic boundaries from noisy annotations, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 11075–11083.