[超像素] maskSLIC: Regional Superpixel Generation

maskSLIC:区域超像素生成

论文地址
开源代码

超像素是一个在图像分割领域有重要作用的图像预处理步骤，目前常用的就是SLIC，大致原理可以参考博客SLIC超像素分割详解。

简单来说超像素方法将图像分为有意义的局部子区域。这些方法在捕获局部相似性的同时，减少了图像的冗余，加快了处理速度，从而使复杂的区域关系分析更加可行。另一个好处是，这些方法超越了严格的像素结构，获得了对噪声和部分体积更稳健的表示。 而maskSLIC是SLIC的一个扩展，在这篇论文里是用来做病理分割的，但实际上也可以用在自然图像里。

摘要

超像素方法如简单线性迭代聚类(SLIC)是一种有效的将图像或体(3D图像)分割成局部相似区域的技术，是发展检测、分割和分析方法的常见基础。我们引入maskSLIC，它是SLIC的扩展，用于在感兴趣的区域（RoI）内创建超像素，并在从二维到四维的例子中进行演示，结果表明maskSLIC克服了不规则mask对SLIC造成的影响。

存在的问题及解决方案

最初的SLIC方法初始化使用的是在图像上等距离放置的集群网格中心。应用局部k-means聚类将每个像素分配到聚类中心。集群网格中心根据指定的像素进行更新，并不断重复这个过程。聚类中使用的距离函数$d$结合了空间相似性和特征相似性，如Eq1所示：

其中$r$表示特征距离$d_f$和空间距离$d_s$间的权重。

SLIC为识别和分割等任务提供了一种有效的图像编码，但当定义mask内的子区域时，如器官或肿瘤，这种定义可能会有问题，因为该方法是从种子点的一个网格初始化的。

下面是两种简单的方法来使用带mask的SLIC:

• 对整个图像应用SLIC，然后识别mask中包含的超像素(对于部分重叠的超像素，只保留mask中包含的区域)
• 或者，在网格初始化后，保留落在mask内的种子点，并只对mask内的像素应用SLIC

第一种方法表示mask中的超像素会受到周围图像变化的影响，这可能会导致超像素只部分出现在该区域。

第二种方法只考虑mask内的像素，看上去是个更好的选择，但是取决于种子点相对于mask的位置，在三个相同mask的示例中说明了这一点(图1)。

其中一个mask刚好包含4个seed point，另外一个mask包含3个seed point，另外一个mask包含0个seed point，导致第三种情况下的超像素方法失败。

由于这两种简单的方法是不一致的，并且可能导致mask的SLIC方法失败，我们需要一种基于mask形状的更稳健地生成子区域的方法。我们提出了一个名为maskSLIC的新方法，它对原始方法进行了三处修改，如图2所示，有两个步骤被用来在mask内生成改进的初始化点，一旦这些点被初始化，聚类就被限制在mask内的像素中。

算法的具体步骤如下：

Step1: 给定特定的超像素数量$N$，使用欧几里德距离变换迭代地放置距离边界和任何其他种子点的最大距离的种子点(图2c和d)。给定一个mask，$B$是背景标签（no-mask）的集合，$L$是包含背景($B$)和标记点($P$)的集合，初始化 P = { } P=\left\{\right\} P={}

$D(x)$表示在位置$x$上的距离变换：

其中$n$表示空间维度数量。最远距离$p^{\ast }$可以通过下式得到：

那么$P$变成 P ∪ { p ∗ } P\cup \left\{ p* \right\} P∪{p∗}对应于下一个迭代，迭代需要重复$N$次。

Step2: 将SLIC应用于仅带有距离特征的种子点($P$)，即：

这是基于初始化种子点的k-means距离度量(图2e)来优化给定mask形状的种子点的位置。

Step3：
最后，将SLIC应用于mask内部定义的像素(图2f)

第一步提供了在mask内空间分布种子点的机制，第二步促进种子点的均匀放置。图2 a)和b)显示了在掩模内不均匀分布的SLIC网格初始化点，这将影响超像素的生成，特别是当区域边界定义不佳时。

我们的方法相当于使用一个基于mask的隐式坐标系，而不是SLIC中使用的外部坐标系。本文的种子方法与用于提升k-means种子鲁棒性的k-means++算法类似，但是它的区域是明确定义的。重要的是，通过这样做，用户可以指定mask中所需的超像素数量，这是SLIC方法无法做到的。

实验结果

我们通过转换图像和重新生成超像素来检查与mask有关的种子点放置的效果。图3显示了原始SLIC方法和我们提出的maskSLIC方法放置种子点的效果。每种方法都显示了在(1)和(2)平移40像素之前和之后的超像素生成。maskSLIC区域是相同的，因为生成是由来自mask的隐式参考框架定义的，而其他方法中区域的超像素表示显然受到平移的影响。

图6可以发现maskSLIC在mask中提供了更多有意义的子区域。在这张大脑CT扫描中，maskSLIC似乎有更多的小超像素，这是因为超像素更好地分布在整个分割区域中。

结论

超像素分析在计算机视觉和医学图像分析中有广泛的应用，因为它能够将图像减少到一组有意义的子区域。我们已经证明，通过三种修改，标准的SLIC方法可以在肿瘤或器官等特定区域内进行更有效的分析。我们在许多例子中证明了改进的不变性和子区域的质量，并表明maskSLIC在脑瘤分割挑战中提供了更有意义的子区域。最后，我们证明了聚类maskSLIC是一种非常有前途的技术，用于为病例数据集开发稳定的肿瘤亚区域，但需要进一步的组织学验证。

这种方法的一个局限性是基于距离变换的点放置比网格点放置慢。由于只在定义的区域内执行该方法可以节省时间，因此与SLIC相比，该方法的速度取决于不规则区域和原始区域的大小之间的权衡。