AN EFFICIENT HIERARCHICAL GRAPH BASED IMAGE SEGMENTATION

一种高效的基于层次图的图像分割方法

Silvio Jamil F. Guimarães ] § ] VIPLAB - ICEI - PUC Minas sjamil@pucminas.br Jean Cousty § , Yukiko Kenmochi § and Laurent Najman § § Université Paris-Est, LIGM, ESIEE - UPEMLV - CNRS {j.cousty,y.kenmochi,l.najman} @esiee.fr

摘要

    分层图像分割提供了面向区域的尺度空间，即一组不同细节级别的图像分割，其中较细级别的分割与较粗级别的分割嵌套在一起。大多数图像分割算法，如区域合并算法，都依赖于合并标准，而合并标准不会导致层次结构，因此参数的调整可能很困难。在这项工作中，我们根据Felzenzwalb和Huttenlocher推广的标准，提出了一种基于层次图的图像分割方法。我们用真实图像和合成图像进行了说明，显示了我们方法的效率、易用性和鲁棒性。
    索引项-分层图像分割、边缘加权图、显著性图。

1、简介

    图像分割是将感知上相似的像素分组为区域的过程。分层图像分割是一组不同细节级别的图像分割，其中较粗细节级别的分割可以通过较细细节级别分割的区域简单合并生成。因此，较细级别的分段相对于较粗级别的分段嵌套。层次化方法具有在分割区域之间保持空间和相邻信息的有趣特性。在这里，我们提出了一种边缘加权图框架下的分层图像分割方法，其中图像配有邻接图，边缘代价由图像两点之间的不相似性给出。
    任何层次都可以用最小生成树来表示。这种树在模式识别中的首次出现可以追溯到Zahn的开创性工作[1]。最近，莫里斯等人[2]于1986年将其用于图像分割，费尔岑·斯瓦布（Felzenswalb）和赫滕·洛彻（Huttenlocher）[3]于2004年将其推广。然而，区域合并方法[3]不提供层次结构。在[4，5]中，研究了层次分段的一些最优性性质。考虑到，对于给定图像，可以调整已知方法[3]的参数，以获得该图像的正确分段。我们在本文中提供了这种方法的分层版本，消除了参数调整的需要。
    [3]的算法如下。首先，计算最小生成树（MST），并在此树上进行所有决策。对于链接两个顶点x和y的每条边，按照其权重的非递减顺序，执行以下步骤：（i）查找包含x的区域x。
    （ii）找到包含Y的区域Y。
    （iii）根据特定标准合并X和Y。
    [3]中的区域合并标准通过比较两个数量来衡量两个区域之间边界的证据：一个基于边界上的强度差，另一个基于每个区域内相邻像素之间的强度差。更准确地说，为了知道两个地区是否必须合并，需要考虑两种措施。区域X的内部差分Int（X）是连接MST中X的两个顶点的边的最大权重。两个相邻区域X和Y之间的差值Diff（X，Y）是链接X玩具的边的最小权重。然后，在以下情况下合并两个区域X和Y：

，其中k是允许防止合并大区域的参数（即，较大的k强制合并较小的区域）。
    公式（1）定义的合并标准取决于观察区域X和Y时的尺度k。更准确地说，让我们考虑X相对玩具的（观察）尺度S Y（X），作为基于X和Y之间的差、X的内部差和X的大小| X |的度量：

那么，尺度S（X，Y）简单地定义为：

，这得益于尺度等式的概念。（1）可以写成：

换句话说，等式（4）指出，当相邻区域X和Y的比例小于阈值参数k时，它们合并。
    即使通过【3】中提出的方法获得的图像分割结果很有趣，用户也面临两个主要问题：•首先，当参数k增加时，区域的数量可能会增加。如果k是一个真实的观察尺度，则不可能做到这一点：事实上，它违反了多尺度分析的因果关系原则，即在我们的案例中，存在于k 1尺度的轮廓应该存在于k 2<k 1的任何尺度。
    这种行为如图1所示。
    •其次，即使区域数量减少，等高线也不稳定：当参数k变化时，等高线会移动，这违反了定位原则。图2示出了这种情况。
    考虑到这两个问题，调整[3]的参数是一项困难的任务。
    根据文献[6]，我们认为，为了使k成为一个真正的尺度参数，我们必须同时满足因果关系原则和位置原则，这导致了分段层次的工作。参考文献[7]首次提出了一种基于[3]生成分段层次的算法。然而，该方法是[3]的迭代版本，使用阈值函数，需要调整阈值参数。
    本文的主要结果是基于[3]的相异度测度，提出了一种高效的分层图像分割算法。
    我们的算法的计算量与[3]相似，但它提供了所有尺度的观测值，而不是仅提供一个分割级别。
    由于它是一个层次结构，我们的算法的结果同时满足局部性原则和因果性原则。特别是，与[3]相比，当比例参数增加时，区域的数量减少，并且轮廓不会从一个比例移动到另一个比例。
    图3说明了将我们的方法应用于图1（a）的同一图像所获得的结果，该图像具有两个不同观察尺度的分割，以及显著性图[8、4、5]（一个表示等高线不均匀程度的图，其阈值给出了所有分割集）。
    .
    这项工作的组织如下。在第二节中，我们介绍了彩色图像分割的分层方法。第3节给出了一些实验结果。最后，在第4节中，得出了一些结论，并对进一步的工作进行了讨论。

图1：。举例说明了[3]违反因果关系原则的情况：区域数量（括号内）从8增加到14，而不是在所谓的“观察尺度”增加时减少。

图2：。举例说明[3]违反位置属性的情况：等高线从一个“比例”到另一个“比例”是不稳定的。

图3：。用我们的方法计算的图1（A）的显著性图的实例。我们在（b）和（c）中显示了从1000和5000标度的层次结构中提取的两个图像分割，以及它们的区域数（括号中）。

2、一种高效的基于层次图的图像分割方法

    在这一节中，我们描述了基于观察尺度计算分区层次结构的方法，如等式3所定义。让我们首先回顾一下处理层次结构的一些重要概念[2、4、5]。
    到跨越图像像素集V的每棵树T，到每幅地图w:E→ N加权边oft和每个阈值λ∈ N，可以将由V构成的图的连通分量所诱导的V的划分P wλ与λ以下的权边相关联。众所周知，对于任意两个值λ1和λ2，、分区和是嵌套的，比粗。因此，集合是由权重映射w诱导的分区的层次结构。
    我们的算法没有明确地生成分区层次，而是生成一个权重图L（观察尺度），从中可以推断出所需的层次H L。它从图像构建的边加权图的最小生成树T开始。为了计算与每一条边oft相关的尺度L（e），我们的方法以其权重的非递减顺序迭代考虑边oft。对于每条边e，权重贴图L（e）初始化为∞ ; 然后，对于连接两个顶点x和y的每条边e，执行以下步骤：（i）找到包含x的的区域x。
    （ii）找到包含Y的区域Y。
    （iii）计算分层观察量表L（e）。
    在步骤（iii）中，需要X relative toy的层次尺度来获得值L（e）。直观地说，是X的某个子区域，即X∗ , 将合并玩具。更准确地说，使用内部参数v，该比例的计算如下：（1）将v的值初始化为0。
    （2） 将v的值增加1。
    （3） 查找区域X∗ 包含x的的。
    （4） 当（5）为时，重复步骤2和3。
    通过适当的更改，相同的算法允许计算。然后，将分级量表L（e）简单设置为：

图4显示了我们的方法在教学示例上的结果。从图4（a）的图表开始，我们的方法生成图4（b）所示的分层观察尺度。对于[3]的方法，我们的算法只考虑最小生成树的边（见图4（c））。整个层次结构如图4（d）所示为树状图，而层次结构的两个层次（比例2和9）如图4（e）和（f）所示。
    让我们在图5（a）的图上说明层次观察尺度的计算。为此，我们考虑分析连接B到G的边e的算法的迭代。
    在该步骤中，重量低于w（e）=10的MST的边缘已经处理。因此，如5（b）所示，已经知道这些边的分层观察尺度（图中由连续线描绘）。在步骤（i）和（ii）中获得的区域X和Y分别设置为{A、B、C、D、E}和{F、G、H、i}。然后，为了在步骤（iii）中找到值L（e），必须考虑分区。我们有：P L 2=

。
    {A，D，E}，{F}，{G，H，I}，p13={B，C}，{A，D，E}，{F，G，H，I}和p118={{B，C}，{A，D，E}，{F，G，H，I}。通过应用步骤（1-5），发现值S′Y（X）为18，因为18是低于包含B相对玩具的区域的观察尺度的第一个值。对S′X（Y）进行相同的处理，但区域是{G}、{G，H，I}和{G，H，I，F}。此外，由于12是包含G的区域相对于X的观察尺度以下的第一个值，因此观察尺度为12。最后，X和Y的观察尺度为18。
    为了有效地实现我们的方法，我们使用了一些类似于[5]中提出的数据结构；特别是，分区集合的管理要归功于Tarjan的联合查找。
    此外，我们还进行了一些算法优化，以加快观测尺度的计算速度。为了举例说明计算时间，我们在windows Vista下的标准单CPU计算机上用C++实现了我们的所有算法，并在Intel Core 2 Duo 4GB中运行。对于图1（a）中所示的图像（尺寸为321x481），在2中计算层次。7秒，而[3]中提出的方法花费了1秒。3秒。

图4：。分层图像分割示例。与图2中的示例相反，轮廓从一个比例到另一个比例是稳定的，提供了层次结构。

图5：。计算边加权图的层次比例的示例。对于本例，我们假设已经计算了区域X和Y的所有比例，我们将计算边缘连接带G的层次比例

3、实验结果

    实验的一个主要困难是设计一个足够的边缘成本，很好地适应要分割的内容。一个实用的解决方案是使用一些不同的函数，在Literature中使用了许多不同的方法。在这项工作中，基础图是由4-邻接关系导出的图，边通过在RGB空间中由欧几里德距离计算的简单颜色梯度进行加权。
    在图6中，我们给出了包含三个感知大区域的人造图像的一些结果。在这个例子中，通过查看scales resp的分段，可以很容易地验证我们方法的层次属性。1000、2000、5000、14和224000（分别为图6（c）、（d）、（e）、（f）和（g））。由于生成的分段是嵌套的，因此整个层次可以在显著性图中显示（见图6（b））。
    图7展示了我们的方法在伯克利数据库的一些图像上的表现【9】。注意，如[3]中所述，应用区域滤波以消除小区域（小于500像素）。
    将我们的算法的结果与[3]的结果进行比较是困难的，因为调整[3]的参数是至关重要的，而且我们产生了一个完整的分段层次。我们做了三个实验。首先，我们尝试为[3]设置正确的参数，即产生最佳（主观）视觉结果的参数（图8）。我们可以将此结果与一方面从图7中的层次结构中提取的“最佳”分割进行比较，另一方面，与从我们的层次结构中包含与[3]相同数量的区域的分割进行比较（图8）。在第二个实验中，我们将所有图像的区域数固定为15，并调整参数[3]以获得这个区域数。我们可以将这些分割与图9中我们自己的结果进行比较。最后的实验旨在评估对随机脉冲噪声的鲁棒性，见图10。
    建立
    （a） （b）（c）。

图6：。包含三个感知大区域的合成图像的分层图像分割示例。图像（a）的显著性图如（b）所示。分割图像的区域数写在每个图形下。

图7：。第一行：伯克利数据库的一些图片【9】。中行：这些图像的显著性贴图。这些层次结构的标度数为（a）240、（b）429、（c）405和（d）443。最底层：根据我们的主观判断，从层次结构中提取出最佳分段。区域数为（a）3、（b）16、（c）6和（d）18。

图8：。比较[3]和我们的方法。对于每一对图像，右侧图像显示的是[3]中的最佳结果（根据我们的判断和实验），左侧图像显示的是从我们的分层结果中提取的具有相同区域数的分割。

图9：。区域数设置为15的图像分割示例。对于每一对图像，左侧显示从我们的层次结构中提取的分割，以及所需的区域数；右侧显示了通过改变参数k，直到所需的区域数为

图10：。被随机盐噪声破坏的图像分割示例。损坏的图像（不同级别-70%和90%）显示在第一列。第二列和第三列分别说明了我们的方法和[3]的结果。

4、结论

    本文基于文献[3]中的观测尺度，提出了一种有效的分层分割方法。与文献[3]相比，我们的方法在每个尺度上生成了完整的分割集，并且满足文献[6]定义的因果关系和位置原则。这些属性的一个重要实际结果是，可以轻松选择适合特定任务的缩放级别。通过将我们的分割与[3]中的分割进行比较，我们在一些真实图像上直观地评估了我们的方法。即使需要更多的（定量）测试（如【10】中提出的测试）来得出明确的结论，但所产生的细分正在加速，尤其是w.r.t。
    稳健性。作为未来的工作，我们将研究在观察量表的定义中使用更多的信息，以及学习哪些信息与给定的实际任务相关。

5、参考文献

[1] C. T. Zahn, “Graph-theoretical methods for detecting and describing gestalt clusters,” IEEE Trans. Comput. , vol. 20, pp. 68–86, January 1971.

[2] O.J. Morris, M.de J. Lee, and A.G. Constantinides, “Graph theory for image analysis: an approach based on the shortest spanning tree,” Communications, Radar and Signal Process- ing, IEE Proceedings F , vol. 133, no. 2, pp. 146 –152, april 1986.

[3] Pedro F. Felzenszwalb and Daniel P. Huttenlocher, “Efficient graph-based image segmentation,” IJCV , vol. 59, pp. 167–181, September 2004.

[4] Laurent Najman, “On the equivalence between hierarchical segmentations and ultrametric watersheds,” JMIV , vol. 40, pp. 231–247, 2011.

[5] Jean Cousty and Laurent Najman, “Incremental algorithm for hierarchical minimum spanning forests and saliency of wa- tershed cuts,” in ISMM , vol. 6671 of LNCS , pp. 272–283. Springer, 2011.

[6] Laurent Guigues, Jean Pierre Cocquerez, and Hervé Le Men, “Scale-sets image analysis,” IJCV , vol. 68, no. 3, pp. 289–317, 2006.

[7] Yll Haxhimusa and Walter Kropatsch, “Segmentation graph hierarchies,” in Structural, Syntactic, and Statistical Pattern Recognition , vol. 3138 of LNCS , pp. 343–351. Springer, 2004.

[8] L. Najman and M. Schmitt, “Geodesic saliency of watershed contours and hierarchical segmentation,” PAMI , vol. 18, no. 12, pp. 1163–1173, December 1996.

[9] D. Martin, C. Fowlkes, D. Tal, and J. Malik, “A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics,” in ICCV , July 2001, vol. 2, pp. 416–423.

[10] Pablo Arbelaez, Michael Maire, Charless Fowlkes, and Jiten- dra Malik, “Contour detection and hierarchical image segmen- tation,” PAMI , vol. 33, pp. 898–916, 2011.