[医学图像小样本分割]A LOCATION-SENSITIVE LOCAL PROTOTYPE NETWORK FOR FEW-SHOT MEDICAL IMAGE SEGMENTATION

一种用于Few-Shot医学图像分割的位置敏感局部原型网络（ISBI2021）

论文地址

摘要

引入适当的先验知识是设计高性能少镜头分割算法的关键。由于许多医学图像模式中存在强力的空间先验知识，我们提出了一种基于原型的方法，即位置敏感的局部原型网络，利用空间先验来执行Few-Shot医学图像分割。我们的方法将用全局原型分割整个图像的困难问题分解为用局部原型分割局部区域的容易解决的子问题。

存在的问题及解决方案

在开发高性能的Few-Shot语义分割算法时，整合适当的先验知识是关键。众所周知，强大的空间先验是许多医学成像方式固有的，包括腹部CT扫描。例如，肝脏通常出现在CT图像层的左侧，而脾脏出现在右侧。这样的空间布局先验在特定器官类别的像素级标记中传达了关键信息。

我们的方法是一种基于原型的方法，我们称之为位置敏感的局部原型网络。我们将图像分割成重叠的图像网格，并为所有支持图像网格提取特定位置的局部原型。与一般的全局原型不同，我们的局部原型受约束，也就是只能利用相应网格中的信息。因此，它对位置非常敏感。假设支持图像和查询图像具有相似的空间布局，查询图像中的每个位置都可以与相应的局部原型进行像素级分割。通过这种方法，我们将具有全局原型的整幅图像分割难的问题分解为具有局部原型的局部区域分割容易解决的子问题，从而显著提高了性能。

方法

位置敏感的局部原型提取

考虑一个集合 G = { g m } , 1 ⩽ m ⩽ n g \mathcal{G}=\left\{ g_m \right\} ,1\leqslant m\leqslant n_g G={gm​},1⩽m⩽ng​，重叠的网格均匀分布在$w\times h$大小的图像上。网格$g_m$尺寸为$\alpha w\times \alpha h$，每个网格$g_m$的原型可通过掩码平均池化表示为：

其中$F_i^s$指提取的特征图，$(x,y)$表示空间坐标。如果${\sum }_{\left(x,y\right)\in g_m}^{}{M}_{i,c}^s\left(x,y\right)=0$，则$p_{c,g_m}^s=0$。如果$g_m$中没有任何前景类像素，则其原型设置为背景类原型$p_{0,g_m}^s=0$

以下是关于提取的局部原型的主要观察结果:

1.原型$p_{c,g_m}^s$与局部网格$g_m$相关联，因此，是局部敏感的。网格尺度$\alpha$是影响局部原型编码空间信息的关键参数。当$\alpha$很小，网格中只包含单个像素时，提取的局部原型对位置过于敏感，而当$\alpha =1$时，网格扩展到图像的全部大小，位置信息根本没有编码。

2.与全局原型不同，我们的局部原型$p_{c,g_m}^s$被限定只利用相应网格$g_m$中的信息。因此，可以防止由于局部网格外特征的平均而导致的局部信息的丢失。这对于构建高质量的背景类原型$p_{c,g_m}^s$是至关重要的，因为背景类往往是空间不均匀的，涉及到许多不同的解剖结构，在没有局部网格约束的情况下，这些结构的信息会被不合理的平均。

我们将提取的所有网格位置和类的局部原型收集到集合$\mathcal{P}=\left\{p_{c,g_m}^s\right\}$中。

基于网格的Few-Shot分割

假设支持图像和查询图像具有相似的空间布局，可以将从支持集合中提取的局部原型$\mathcal{P}$匹配到查询图像中的相应位置，进行基于网格的少镜头分割。给定$n$个前景类和背景类的支持原型集$\mathcal{P}$，查询图像对应于类$c$的概率得分为：

其中$sim$指相似度量，$\sigma$为softmax操作，$F_j^q(x,y)$为查询特征向量。

对于不重叠的图像网络，通过计算查询特征向量与对应的支持图像网格原型之间的余弦相似度。对于有重叠的图像网格，在$(x,y)$上的查询特征可能映射到多个网格，我们将所有影响$(x,y)$的网络收入一个集合 Ω = { g m : ( x , y ) ∈ ( x m , y m , α ) } \varOmega =\left\{ g_m:\left( x,y \right) \in \left( x_m,y_m,\alpha \right) \right\} Ω={gm​:(x,y)∈(xm​,ym​,α)}中计算相似度评分：

实验结果

消融实验

图3的左图显示了选择合适的网格比例的好处。当栅格尺度α从最优值1/8设置为1/16或1/4时，先验位置可能被过度利用或未充分利用。当α = 1时，网格覆盖整个图像，得分下降到30.3%，因为位置先验没有被利用。由此产生的性能下降揭示了位置信息的重要性。从图中还可以看出，使用非重叠而不是重叠的图像网格时，平均分数从70.3%下降到60.2%，从而证实了图像网格重叠的好处。

我们的方法依赖于这样的假设:支持图像和查询图像有相似的布局，并且在一定程度上是空间对齐的。当这个假设不再成立时，性能表现会如何。图3的右图显示我们的方法对于空间错位是相当鲁棒的——对于肝脏、脾脏和L/R肾脏等器官，图上的许多数据点只有不到40%的Alignment Dice。这意味着，对于相应的支持-查询对，ground-truth支持和查询掩码的空间重叠很小，因此对齐较差。然而，这些支持查询对的分割得分往往高于60%，表明尽管ground-truth支持和查询掩码之间存在空间偏差，但性能良好。我们的方法对L/R腰大肌的效果不太好，因为这些小的解剖结构，其视觉外观与周围的结构相似，使其更难学习有区别的视觉特征。

结论

我们提出了一种基于原型的方法，利用空间布局先验进行少镜头医学图像分割。利用局部原型，我们的新颖的位置敏感的局部原型网络将整个图像分割的困难问题分解为容易解决的局部区域分割问题，从而显著提高了性能。在内脏数据集上的器官分割实验中，我们的模型在平均骰子系数上比目前的技术水平高出10%。我们广泛的消融研究表明合并空间信息的实质性好处。