Selective Search for Object Recognition

选择搜索用于目标识别

多样性的分割策略

长期以来，目标总是在它们被识别以前先被看到并描绘。这个就要上升到分割了，目的是把图片分组许多的唯一分块，分割的研究经历了过去多年。但是图像的本质是分层的。

对于一个分层的分割，可能并不存在一种普遍分割策略。

a图中，要同时框选桌子和桌子上的物体必须采用不同的尺度，b图中两只猫需要通过颜色来区分，而并非纹理，c图中要找到变色龙需要通过纹理特征，d图中要选出车轮则需要通过轮廓的封闭性。

合适的目标选择策略

滑动窗口搜索有着自身的许多缺点，搜索所有可能的位置的计算量显然是不可估计的，一般的策略是通过一个固定的网格，修正的规格和修正的窗口比例，这样的做法显然损失了许多精度而且任然有较大的搜索空间。

能不能有一种基于数据分析的采样方法？

选择性搜索

选择性搜索算法主要考虑以下几个方面

全尺度采样（Capture All Scales）：这里主要通过分层算法

多样性（Diversification）：用多种搜索策略代替单一的搜索策略

快速计算（Fast to Compute）：选择性搜索的目标就是快速计算，这个是必须的

选择性搜索通过层次分组组合。本文采用一种层次组合的算法来组成我们基本选择性搜索。自底向上的组合是一种常用的分割方法，这里我们也采用它。因为处理组合的过程本身也是分层的，我们可以轻松的获得所有尺度的所有位置，通过组合块直到图像最后变成一个区域。这个过程满足了捕获所有尺度的条件。

区域所包含的信息要比像素丰富许多，我们会尽可能的采用基于区域的特征。从一个较小的区域开始理想状态下不会跨越多个目标。这里采用F等人基于图的快速分割。

本文的区域分块组合过程主要如下：

1、  我们用基于图的分割来初始化区域

2、  然后我们用一种贪心算法迭代的合并区域

3、  首先计算所有相邻区域的相似度，然后两个最相似的区域首先被合并，最后重新计算相邻区域相似度，重复前2步···

4、  到图像只剩下1个区域时为止

算法流程如下：

输入：（彩色）图像

输出：目标位置假设集L

 

用基于图的快速分割获得初始化区域 R={r1,···,rn}

初始化区域相似集S=Ø

Foreach 相邻的区域对(ri,rj) do

       计算相似度s(ri,rj)

       S=SUs(ri,rj)

While S≠Ø do

       获得对大相似度s(ri,rj)=max(S)

       合并一致性区域rt=riUrj

       从S中去除ri：S=S\s(ri,r*)

       从S中去除rj：S=S\s(r*,rj)

       计算相似度集合St从rt和他的领域中获得

       S=SUSt

       R=RUrt

从R区域中获得所有的目标框L

下面我们来讨论怎么用多种策略来计算区域的相似度：

主要通过以下3中方式：（1）、用多种颜色空间来捕捉不同的属性变化（2）、使用不同的相似性衡量方法（3）、变化起始区域。

1、 补充颜色空间

RGB、灰度图、Lab、rgI、HSV、normalized RGB、C、H from HSV

2、 补充相似性衡量方法

颜色相似性：每个通道划分成25格，3通道共75格 统计颜色直方图，颜色相似性计算公式如下（统计直方图75个值中的共同部分 作为颜色相似性）

在块合并的时候，通过以下公式快速计算颜色相似性

纹理相似性：和fast-SIFT的方法类似，求每个通道8个方向的高斯微分sigma=1，然后统计每个方向的直方图，直方图大小为10，这样纹理特征为8*10*3=240维，计算纹理相似性的方法和颜色相似性一致，其加速方法也是一样滴。

区域大小（防止大的区域把小区域逐个吞并）：公式如下

区域形状约束（保证区域合并的形状合理性）：公式如下

3、 变化起始区域

这里变化起始区域，本文通过改变 基于图的分割的 初值 k 来实现。

 最后说下目标框的排序问题，我们采用了多个颜色通道，多个计算相似度的方法来进行排序。首先重复度高的框肯定是优先排序的，认为他们的得分高。然后本文还才用了随机的方法来减少计算量，在合并的层次中，要随机去除一些层次。

给出一组本文的实验结果：

recell是和真实框的 检测率（一般认为重叠超过百分之50就算检测到了），MABO是和目标框的 平均覆盖率，windows是每张图像平均检测到的目标框数量。