（脑肿瘤分割笔记：三十五）基于特征分离和门控融合的鲁棒多模态脑肿瘤分割

最新推荐文章于 2024-01-27 17:01:17 发布

不想敲代码的小杨

最新推荐文章于 2024-01-27 17:01:17 发布

阅读量739

点赞数

分类专栏：脑肿瘤分割论文笔记文章标签：人工智能深度学习计算机视觉神经网络

本文链接：https://blog.csdn.net/weixin_43921949/article/details/126803035

版权

脑肿瘤分割论文笔记专栏收录该内容

26 篇文章 50 订阅

订阅专栏

Title:Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion

Title:Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion

Abstract--摘要

准确的医学图像分割通常需要在多模态数据中有效的学习到补充信息。但是在临床中经常会遇到影像学检查缺失的问题（也是本文考虑要解决的问题）。

网络使用特征分离将输入模态数据分解为特定于模态的外观编码和模态不变的内容编码。前者唯一的附着于每个模态，后者为分割任务吸收吸收多个模态的信息。利用增强的模态不变性，将来自每个模态的分离出来的内容代码融合到其共享表示中，从而获得对丢失数据的鲁棒性。融合是通过一种基于学习的策略来实现的，这个策略用于在不同的位置对不同的模态进行评估。

Introduction

已经开发了大量的自动脑肿瘤分割的多模态方法，通过连接多个MRI模态作为输入，或在潜在空间中融合来自每个模态的高级特征，但是现在的方法并不总能保证全套所需的模式。

目前存在的一种典型的方法是缺失模态与可用模态合成，这种方法从可用模态的所有可能组合中为每种模态建立一个特定模型，这种方法较为复杂。

为了有效的提取传达肿瘤基本内容的不变表示，学习消除模态的特定信息对此有帮助，可以通过将输入分解到可解释因素的潜在空间中来使用特征分离。

方法

方法概述

网络将多模态特征数据分解为模态特定的外观代码和模态不变的内容编码。每个模态的内容代码被融合成一个共享表示，其中包含用于分割任务判别信息，为了增强其模态不变性，需要共享表示来重构给定相应外观代码的任何模态，即时在没有某些模态的情况下也是如此。此外本文采用了一种新颖的门控特征融合策略来自动学习权重图并使用门控单元来控制不同位置的不同模态数据的权重。

网路结构如下图所示：

首先引入特征分离将多模态输入编码为模态特定的外观代码和模态不变的内容代码，此后使用门控策略用于将互补的内容代码从个体模态集成到更具表现力的融合表示当中。

用于多模态学习的特征分离

1）用{X1，X2,....Xm}表示多模态图像，在脑肿瘤分割任务中M=4，每个模态的数据Xi输入到自己的内容编码器 $E_{i}^{c}$ 和外观编码器 $E_{i}^{a}$ ，经过处理过后可以得到外观编码 $a_{i}=E_{i}^{a}(x_{i})$ 和内容编码 $c_{i}=E_{i}^{c}(x_{i})$ .对于外观编码将其设置为8位向量，计算其KL散度以鼓励 $P(a_{i})$ 的估计分布尽可能的接近正态分布这样我们得到的损失函数为 $L_{KL}=\sum_{i=1}^{M}E[D_{KL}(p(a_{i})||N(0,I))]$ 用这个损失函数来训练外观编码器。

2）对于形态不变的内容编码，将他们融合为表达肿瘤本质语义内容的综合表示 $Z=F(c_{i})$ ,F是一种自动学习的融合策略，在给定特定形态的任何外观编码的情况下所获得的内容表示Z，应该能够被重新呈现到原始图像当中。为了鼓励这种重建能力，引入了一组特定于通道的解码器{ $D_{i}^{r}$ }来利用伪周期一致性损失这个一致性损失的公式如下图所示：

3）在特征分离之后，再从任意组合的多模态数据中聚焦互补的内容信息的同时，也抵消了特定于模态的外观特征的影响，构建了一个分割解码器 $\widehat{Y}=D^{s}(z)$ ,基于我们得到的代表性和健壮性z来学习判别模式联合使用Dice Loss和加权交叉熵损失函数来处理多类分割中的类不平衡。分割的损失函数如下

具有学习门控的多模态融合

使用自动学习映射函数来集成多模态特征。一种模态的贡献权重在不同的情景下不同，具体来说我们将每个通道的内容编码{C1，C2,....Cm}连接起来，然后输入到具有输出通道M的卷积层。通过Sigmod激活函数获得门控权重矩阵G，它被分割成M个单独的{g1,g2.....gm}每个通道一个映射。然后将内容编码重新加权 $\widetilde{C_{i}}=c_{i}*g_{i}$ 这些输出被级联并发送到送到一个1*1的卷积然后送入Leakly Relu处理。总体的损失如下图: