（脑肿瘤分割笔记：四十三）用于脑胶质瘤分割的上下文感知网络

不想敲代码的小杨

已于 2022-09-21 09:48:34 修改

阅读量825

点赞数

分类专栏：脑肿瘤分割论文笔记文章标签：深度学习人工智能

于 2022-09-21 09:03:58 首次发布

本文链接：https://blog.csdn.net/weixin_43921949/article/details/126953113

版权

脑肿瘤分割论文笔记专栏收录该内容

26 篇文章 50 订阅

订阅专栏

Title:CANet: Context Aware Network for Brain Glioma Segmentation

摘要-Abstract

目前的一些脑肿瘤分割方法缺乏强有力的策略来整合肿瘤细胞及其周围环境的上下文，良好的整合上下文信息已经被证明是处理局部（边界）模糊的基本方法。本文提出了一种上下文感知网络(CA-Net)，很好的整合了肿瘤细胞以及其周围的上下文信息。

CA-Net从卷积空间和特征交互图获取具有上下文的高维特征和鉴别特征。此外作者进一步提出了上下文引导的注意条件随机场来进行选择性的聚合特征。

解决的问题

类间（边界模糊）是脑肿瘤分割中的常见问题。由于不同类别的体素可能共享相似的强度值或特征表示，因此如果只考虑孤立的体素，就很难实现精确的密集体素分割问题（本文考虑要解决的问题）

为了解决这一问题，作者通过探索胶质瘤细胞与周围环境的特征交互图来了解他们之间的关系信息

本文的贡献

引入特征交互图推理作为一个并行的辅助分支来建模胶质瘤细胞和周围环境的关系。中间特征表示在自定义上下文引导的注意条件随机场框架中进一步开发和聚合。

将提出的CGA-CRF推论的平均场近似表示为卷积操作，而CGA-CRF实现为顺序的深度神经网络，这个模块可以无缝嵌入任何深度的神经架构，以实现端到端的训练（泛化能力强）。

在脑肿瘤分割中常常存在着不平衡和类间干扰的问题，目前的解决方案是考虑使用级联的网络结构，但是级联的网络结构主要关注某一特定网络阶段的一个肿瘤区域，无法推断不同肿瘤区域间的关系

方法-Method

首先详细的描述了所提出的特征交互图。然后作者引入了新的特征融合模块CGA-CRF，它可以选择性的聚合来自不同上下文的特征，并学习生成最优的特征。最后将CGA-CRF中的平均场更新为序列卷积操作，使得网络实现端到端的训练。

提出的CA-Net可以通过对特征交互图进行推理来隐式的捕获远程关系信息。两种上下文（特征交互图和卷积）都使用从共享编码器主干派生的中间特征图 $x\epsilon R^{N*C}$ 作为输入,其中N是中间特征图实例总数，C是特征维数。图上下文特征交互图用 $X^{G}$ ，卷积生成坐标空间为 $X^{c}$

CGA-CRF的主要思想是利用最终的表示 $X^{F}$ 与中间特征表示X之间的关系，生成与MRI图像相关的最优分割映射。这个中间特征表示X具有辅助的远程关系的 $X^{G}$ ，这个特征表示由具有卷积特征 $X^{c}$ 的交互空间生成。不同于直接拼接 $X^{F}$ =Contact(X, $X^{G}$ , $X^{c}$ )和求和。本文的目的是通过一个新的条件随机场学习一组潜在特诊表示 $X^{F}$ 。由于 $X^{G}$ 和 $X^{c}$ 在学习 $X^{F}$ 过程中所起到的作用是不同的，本文采用注意机制的观点，并将其推广到条件随机场的门节点。门节点可以调节信息流，发现不同的上下文和潜在特征之间的相关性

网络框架如下图所示：

A:背景引导特征提取

1）图上下文：自适应采样投影

首先利用收集到的特征图创建特征交互空间G={V,E,α}。V表示交互图中节点的集合，E表示交互节点之间的边，α表示邻接矩阵。给定一个从骨干网络中学习到的高维特征X= $Xn_{n=1}^{N}\epsilon R ^{N*C}$ ,首先将原始特征投影到特征交互空间上，生成投影特征 $X^{PROJ}$ ，生成这一特征的过程用公式表示为

其中Wnm和bnm为每个原始特征Xn通过随机梯度得到的移位距离。ρ（）是一个三线性插值采样器，在已知变形△m和交互图节点V的全部集合的情况下，对特征节点Xm周围移位的特征节点进行采样。

特征交互图推理

将输入特征投影到交互图G上，K个特征节点V={V1，.....Vk}和边E遵循图卷积网络定义，其中 $A^{G}$ 为图邻接矩阵， $W^{G}$ 为权重矩阵，则图卷积公式为：

使用拉普拉斯平滑更新邻接矩阵，以便将节点特征传播到整个图中，在实践中，使用1*1卷积层实现 $\widehat{A^{G}}$ 和 $W^{G}$ 还实现了I作为残差连接，使梯度流最大化。

2）卷积上下文分支：卷积上下文分支由编码器和解码器组成，二者之间有跳跃连接，编码器降低了特征图的空间维数，而扩展路径恢复了特征图的空间维数和对象细节。这个体系结构的优点是充分的利用了上下文信息不同尺度的特征，大尺度特征可以用来定位对象，小尺度特征可以为分类提供更详细更准确的信息。

B：引导注意CRF融合模块

这一模块提出的CGR-CRF模块来进行特征融合。其动机来自两个方面，首先，通过最大化概率分配分割标签可能会由于相邻体素共享相似的特征表示而导致错误的边界分割;其次，以往的作品采用通道级联或元素求和机制，融合不同来源的特征。但是，这些机制简化了不同源特征图之间的关系，可能导致信息丢失

作者利用概率图形模型的推理能力，采用条件随机场模型来学习最优的潜在融合特征。由于来自不同情境的信息可能对最终结果有不同程度的影响，作者整合了CGA-CRF的注意门，以调节特征之间的信息流动。作者还进一步展示了使用顺序卷积操作的CGA-CRF均值场更新的实现，这使得CGA-CRF融合模块可以作为顺序层与任何神经网络集成，并以端到端方式进行训练。与以往的编码器-解码器神经网络(图3 (a))和多尺度神经网络(图3 (b))相比，提出的CGA-CRF(图3 (d))具有较强的推理能力，可以共同学习神经网络主干编码的特征隐藏表示。

结构对比图如下所示

图3：先前特征融合方案的图形模型说明：（a）基本编码器-解码器神经网络，（b）多尺度神经网络，（c）多尺度CRF，以及（d）提出的上下文引导注意CRF。I表示输入的3D MRI图像。S表示特定的要素比例。XC和XGRE分别表示卷积运算和图卷积实践产生的隐藏特征。AGC表示从相应的功能XC和XG生成的注意图。最好是彩色的
3）CGA-CRF推理作为卷积操作：将CGA-CRF的平均场更新为顺序卷积操作实现，以便在CGR-CRF可以在任意神经网络中以端到端方式进行训练

总结：

作者提出了一种新的3D MRI脑胶质瘤分割方法CA-Net。考虑到标准卷积和图卷积的不同上下文信息，提出了一种结合深度监督卷积和图卷积上下文的混合上下文感知特征提取方法。与以往使用元素求和或通道连接等简单特征融合的方案的工作不同。本文设计了一种基于条件随机场的新特征融合模型，称为上下文引导注意条件随机场（CGA-CRF）有效的学习下游分割任务的最佳潜在特征。此外，将CGA-CRF中的平均场近似的表示为卷积运算，将CGA-CRF合并到分割网络中以执行端到端的学习。