前一段时间在看Selective Search【1】的论文,其前期工作就是利用Graph-Based Image Segmentation【2】的分割算法,在深入阅读论文【2】以及查阅代码之后,深深地为作者的清晰逻辑折服。在此将自己对于这篇论文的理解记录下来。后期将继续补充对Selective Search的理解。
【2】是2004年由Felzenszwalb发表在IJCV上的一篇文章,主要介绍了一种基于图表示(graph-based)的图像分割方法。图像分割(Image Segmentation)的主要目的也就是将图像(image)分割成若干个特定的、具有独特性质的区域(region),然后从中提取出感兴趣的目标(object)。而图像区域之间的边界定义是图像分割算法的关键,论文给出了一种在图表示(graph-based)下图像区域之间边界的定义的判断标准(predicate),其分割算法就是利用这个判断标准(predicate)使用贪心选择(greedy decision)来产生分割(segmentation)。该算法在时间效率上,基本上与图像(Image)的图(Graph)表示的边(edge)数量成线性关系,而图像的图表示的边与像素点成正比,也就说图像分割的时间效率与图像的像素点个数成线性关系。这个算法有一个非常重要的特性,它能保持低变化(low-variability)区域(region)的细节,同时能够忽略高变化(high-variability)区域(region)的细节。这个性质很特别也很重要,对图像有一个很好的分割效果(能够找出视觉上一致的区域,简单讲就是高变化区域有一个很好聚合(grouping),能够把它们分在同一个区域),这也是为什么那么多人引用该论文的原因吧。
对于图像分割的其他相关算法了解的不是很多,不在这里多说。大致按照原论文的格式来谈谈自己的理解。
一、图像区域的理解;
二、知识准备;
三、相关定义;
四、算法过程;
五、算法证明;
六、算法效率分析;
七、算法实现及样例。
一、图像区域的理解
在做图像分割,首先需要理解如何定义一个区域,我们人眼可以很轻松地解决这个问题,但是使用数字化语言定义就没有那么容易了。比较直观的区域划分方法有,区域的颜色,边缘,纹理。我们来看一个例子:
人眼看上图左上角区域,很容易判断出有三个区域。左半部分是灰度渐进变化的,右半部分外层灰度均匀变化,内层灰度变化较大。
当然我们也希望算法能够实现这一点,上图的例子告诉我们不能使用灰度的变化作为分割依据,也不能使用单一的灰度阈值来作为分割的评判标准。能够捕捉视觉上重要的区域(perceptually important regions)对于一个分割算法来说是非常有意义的。
人的视觉是一个非常复杂的系统,我们无法给出一个通用的区域的定义,但要是能够捕捉到视觉上重要的区域(perceptually important regions),我们就可以认为是一个非常成功的定义方式。
二、知识准备
该论文主要有两个关键点:1. 图像(image)的图(graph)表示;2. 最小生成树(Minimun Spanning Tree)。
图像(image)的图表示是指将图像(image)表达成图论中的图(graph)。具体说来就是,把图像中的每一个像素点看成一个顶点vi ∈ V(node或vertex),像素点之间的关系对(可以自己定义其具体关系,一般来说是指相邻关系)构成图的一条边ei ∈ E,这样就构建好了一个图 G = (V,E)。图每条边的权值是基于像素点之间的关系,可以是像素点之间的灰度值差,也可以是像素点之间的距离(如果是4-邻域相邻关系的话,这个权值就没意义了)。
将图像表达成图之后,接下来就是要如何分割这个图,或者这么理解,将每个节点(像素点)看成单一的区域,然后进行合并。【2】中使用最小生成树方法合并像素点,然后构成一个个区域。关于最小生成树的具体原理,请自己查看相关资料。大致意思就是讲图(Graph)简化,相似的区域在一个分支(Branch)上面(有一条最边连接),大大减少了图的边数。
三、相关定义
【2】介绍的图像(image)的图(graph)表示为G=(V,E),每个像素点代表图的一个顶点vi ∈ V ,相邻的两个像素点构成一条边(vi, vj) ∈ E,像素颜色值的差异构成边(vi, vj)的权值w((vi, vj))。相邻的像素点,可以是像素的4邻域也可以是8邻域。边之间的权值w((vi, vj))还可以通过其他的关系来定义,比如说位置(location)。在下面的讨论中,权值越小,表示像素点之间的相似度就越高,反之,相似度就越低。
接下来主要讲graph的分割,这里实现的算法与传统的图分割(Graph-Cut,可以参考【3】的系列博客,这里不再提及)还是有些不同的。这里的分割是将G = (V,E) 分割成一系列不相交的部分(component) C,每个C都构成一个子图G‘。这些子图的之间相互独立(disjoint),主要是指它们之间没有公共的点。
先介绍几个定义,用于算法的实现。
1. 分割区域(Component)的内部差(internal difference)。可以先假定图G已经简化成了最小生成树 MST,一个分割区域C 包含若干个顶点 ,顶点之间通过最小生成树的边连接。这个内部差就是指分割区域C中包含的最大边的权值。