论文来源
https://arxiv.org/abs/2103.04235
论文题为基于图的金字塔并带有显著性感知的全局上下文推理。研究领域为图像语义分割
abstract
自COVID-19爆发以来,对肺部CT图像感染分割一时成为研究的热点。感染区域分割的challenge在于:感染区域分布于多个肺叶上且感染块大小不一。本文提出了一个名为Graph-based Pyramid Global Context Reasoning(Graph-PGCR)模块来对各分散(disjoint)感染块的long-range dependencies以及大小不一的尺寸联系进行建模。这些工作主要包括:1.提出一种显著性感知投影机制(saliency-aware projection mechanism,SAP)来挑选与感染块关联性最大的像素集合,利用这些像素点作为图的顶点进行建图;2.在建立好的图上,利用GCN从多个肺叶区域来挖掘long-term 上下文信息;3.通过多采样率的方式建立多尺度的图来解决各感染块size不一的问题。综合以上,来捕捉CT图像上感染块之间long-range multi-scale contextual patterns,从而达到好的分割效果。
introduction
SAP作用:发现哪些是informative parts,并选出discriminative pixels用于后续的全连接图的建立。在SAP中使用不同的采样率得到多个图(类似金字塔结构)。较低的采样率(意味着采样步长 σ \sigma σ越大)得到的图会更粗糙一些,感受野的尺寸越大,携带的信息更加global;较高的采样率(意味着采样步长 σ \sigma σ越小),感受野的scale小,得到的采样点数越多,获得的信息更加fine-grained.总的来说,本文的贡献点分为以下几部分:
(1)提出Graph-PGCR来建模多个不连贯的感染块之间的long-range dependencies以及大小不一致问题。
(2)SAP机制用于选择关联性最大的pixels用作图节点,利用GCN来传播global contextual information
(3)利用不同的采样步长 σ \sigma σ来获得多尺寸的图,以捕获大小不一的感染块之间的contextual patterns
(4) 在公开的/私有的COVID-19数据集上的大量实验,证明本文提出方法的有效性。
methods
模型整体架构如图所示
对于UNet-Encoder初步编码的feature map X,本文接连使用了channel attention module以及spatial attention module得到增强的特征图 X ~ ∈ R S × H × W \widetilde X \in\R^{S\times H\times W} X