Selective Search

论文原文地址: Selective Search for Object Recoginition

文章主要介绍了选择性搜索（Selective Search）的方法。物体识别（Object Recognition），在图像中找到确定一个物体，并找出其为具体位置，经过长时间的发展已经有了不少成就。之前的做法主要是基于穷举搜索（Exhaustive Search），选择一个窗口（window）扫描整张图像（image），改变窗口的大小，继续扫描整张图像。显然这种做法是比较“原始的”，改变窗口大小，扫描整张图像，直观上就给人一种非常耗时，结果太杂的印象。

图像（Image）包含的信息非常的丰富，其中的物体（Object）有不同的形状（shape）、尺寸（scale）、颜色（color）、纹理（texture），要想从图像中识别出一个物体非常的难，还要找到物体在图像中的位置，这样就更难了。下图给出了四个例子，来说明物体识别（Object Recognition）的复杂性以及难度。
如下图:

• (a)中的场景是一张桌子，桌子上面放了碗，瓶子，还有其他餐具等等。比如要识别“桌子”，我们可能只是指桌子本身，也可能包含其上面的其他物体。这里显示出了图像中不同物体之间是有一定的层次关系的。

• (b)中给出了两只猫，可以通过纹理（texture）来找到这两只猫，却又需要通过颜色（color）来区分它们。

• (c)中变色龙和周边颜色接近，可以通过纹理（texture）来区分。

• (d)中的车辆，我们很容易把车身和车轮看做一个整体，但它们两者之间在纹理（texture）和颜色（color）方面差别都非常地大。

上面简单说明了一下在做物体识别（Object Recognition）过程中，不能通过单一的策略来区分不同的物体，需要充分考虑图像物体的多样性（diversity）。另外，在图像中物体的布局有一定的层次（hierarchical）关系，考虑这种关系才能够更好地对物体的类别（category）进行区分。

1. 适应不同尺度（Capture All Scales）：穷举搜索（Exhaustive Selective）通过改变窗口大小来适应物体的不同尺度，选择搜索（Selective Search）同样无法避免这个问题。算法采用了图像分割（Image Segmentation）以及使用一种层次算法（Hierarchical Algorithm）有效地解决了这个问题。

2. 多样化（Diversification）：单一的策略无法应对多种类别的图像。使用颜色（color）、纹理（texture）、大小（size）等多种策略对区域（region）进行合并。

3. 速度快。

1. 区域合并算法

1. 使用Efficient Graph-Based Image Segmentation的方法获取原始分割区域$R={r_1,r_2,\cdots,r_n}$.
2. 初始化相似度集合$S=∅$.
3. 计算两两相邻区域之间的相似度,将其添加到相似度集合S中.
4. 从相似度集合S中找出，相似度最大的两个区域$r_i$和$r_j$，将其合并成为一个区域$r_t$，从相似度集合中除去原先与$r_i$和$r_j$相邻区域之间计算的相似度，计算$r_t$与其相邻区域（原先与$r_i$或$r_j$相邻的区域）的相似度，将其结果添加的到相似度集合$S$中。同时将新区域$r_t$添加到 区域集合$R$中。
5. 获取每个区域的Bounding Boxes，这个结果就是物体位置的可能结果$L$。
6. 集合$R$是一个不断增加的过程。从刚开始的单个的object，最后扩张到整张大图。

2. 相似度多样化策略

相似度计算方法将直接影响合并区域的顺序，进而影响到检测结果的好坏。论文中比较了八种颜色空间的特点，在实际操作中，只选择一个颜色空间（比如：RGB 空间）进行计算。

作者采用了8中不同的颜色方式，主要是为了考虑场景以及光照条件等。这个策略主要应用于Efficient Graph-Based Image Segmentation中图像分割算法中原始区域的生成。主要使用的颜色空间有：

• （1）RGB
• （2）灰度I
• （3）Lab
• （4）rgI（归一化的rg通道加上灰度）
• （5）HSV
• （6）rgb（归一化的RGB）
• （7）C
• （8）H（HSV的H通道）

正如一开始提出的那样，我们需要综合多种信息来判断。作者将相似度度量公式分为四个子公式，称为互补相似度测量(Complementary Similarity Measures) 。这四个子公式的值都被归一化到区间$[0, 1]$内。

• 颜色相似度$s_{color}(r_i,r_j)$
  

• 纹理相似度$s_{texture}(r_i,r_j)$
  

• 尺寸相似度$s_{size}(r_i,r_j)$
  

• 填充相似度$s_{fill}(r_i,r_j)$
  

3. 相似度计算公式

综合上面四个子公式，我们可以得到计算相似度的最终公式：

$$s(r_i, r_j)=a_1S_{color}(r_i, r_j)+a_2S_{texture}+a_3S_{size}(r_i, r_j)+a_4S_{fill}(r_i, r_j)$$
其中 $a_i$取值为 $0$或$1$，表示某个相似度是否被采纳。