Graph Convolution Based Cross-Network Multi-Scale Feature Fusion for Deep Vessel Segmentation

Graph Convolution Based Cross-Network Multi-Scale Feature Fusion for Deep Vessel Segmentation

Gangming Zhao

IEEE Transactions on Medical Imaging 2023

Abstract

血管分割广泛用于帮助血管疾病诊断。使用现有方法重建的血管往往不够准确，无法满足临床使用标准。这是因为3D血管结构非常复杂，具有包括稀疏性和各向异性等特殊特征。在本文中，我们提出了一种用于血管分割的创新混合深度神经网络。我们的网络由两个级联子网络组成，分别执行初始和细化分割。第二个子网络有两个紧密耦合的组件，一个传统的基于CNN的U-Net和一个图U-Net。在这两种U型网络之间进行跨网络多尺度特征融合，有效支持高质量的血管分割。整个级联网络可以从端到端进行训练。第二个子网络中的图是根据血管概率图以及原始CT体积中的外观和语义相似性构建的。为了解决血管稀疏性和各向异性带来的挑战，较高比例的图节点分布在可能包含血管的区域，而较高比例的边跟随潜在附近血管的方向。大量的实验表明，我们的深度网络在多个公共和内部数据集上都实现了最先进的性能。

Problems

1. 血管稀疏性

   将密集的3D CT转换为稀疏图结构

2. 血管各向异性

   血管是高度方向性和各向异性的拉长管结构，传统的CNN采用统一的空间采样，无法对这种稀疏和各向异性结构进行建模，从而导致结果中断或不完整

   利用图结构进行学习表示，相比均匀空间采样的方式，更能对各向异性进行建模

Methods

1. 初步分割

   1. 用于发现包含血管的概率相对较高的局部图像区域
   2. 产生初步分割掩码
   3. 利用7*7的膨胀卷积来扩大感受野，以增加概率值相对较高区域的图像大小。

2. 构建图结构

   

   1. 较高百分比的图节点分布在初步概率图值相对较大的区域，而较高百分比的边遵循初步血管分割掩模的方向。

   2. 具体实现

      1. 图节点：基于SLIC算法进行生成，聚合为节点的依据：区域内的血管概率之和较高，区域内的像素外观相似

         

         SLIC算法：超像素聚类算法，把一张图中具有相似特征的像素进行聚类，形成一个更具有代表性的“大像素”

         

         如何保证较高百分比的图节点分布在潜在血管区域？

         ​ 利用测地线距离度量，提高初步分割结果内的区分度，虽然都是接近1的大概率值，但通过测地线距离，mask点之间会存在中心与边缘的距离差异，从而在初步分割结果中生成更多的节点。（红色代表最远值1.0，蓝色代表最近值0.0）

         

         ​ 测地线距离不会影响到背景区域的节点生成，可以提高前景区域的节点密度

         

      2. 图边：只考虑局部连通图，每个节点只连接到其他附近节点。每条边都会有一个权重，这个权重计算自节点之间的语义一致性和外观相似性

         

         ​ 边生成的依据：两点之间的测地线距离要在阈值范围内

   3. 图像特征与图特征的融合方式

      参考了Cross-View Correspondence Reasoning Based on Bipartite Graph Convolutional Network for Mammogram Mass Detection

      1. 图像特征映射到节点域作图卷积进行特征增强融合
      2. 再反映射回图像特征产生新的编码特征

总结

1. 论文提出了一种利用图构建方法来解决血管稀疏性和各向异性的难点
   1. 首先，基于初步分割mask进行图构建，可以有效解决血管稀疏性的问题，将潜在血管区域抽取出来进行建模学习，同时论文也辅以将图像特征映射到节点域，进一步提高了图结构内的语义信息
   2. 其次，在各向异性上，利用节点和邻边建立的方法进行解决，还是有些缺少解释性，可能可以在图卷积中对结构建模进行更深入的扩展
2. 代码没有开源
3. 一些思考：
   1. 如果基于测地线距离，建立节点间的有向边，由中心指向边缘，能否建模整体的结构信息
   2. 根据SLIC算法，将图像中的每一部分映射为一个图节点，一个图节点包含的像素信息可自定义，同时辅以测地线距离，可以在血管区域生成更多的节点。参考这样的图节点构建方法，在图卷积方案上加以更有解释性的方法，同时再保证映射回图像特征的合理性，是否有可行性？或者不映射回去，因为映射回去难以解释是否存在偏差是否合理，直接让图像特征根据图特征进行细化预测
4. 图节点的构建：
   1. 三种类型的节点：高概率血管节点、潜在血管区域节点、背景节点
   2. 边：两阶段生成，只建立邻居节点边
      1. 两节点是否应该存在边，背景节点不应该与其他节点存在边
      2. 边权重计算：综合计算两节点之间的语义一致性和外观相似性，血管节点之间应该是高权重，血管节点与潜在血管区域节点至少有权重但有高低
      3. 图卷积的目标就是更新节点特征和边特征，主要解决潜在血管区域节点的判断，是否有办法能添加深监督：将label也转化为图结构的样式进行监督。