Selective Search for Object Recognition 个人总结

selective search是object detection中非常著名的候选框生成方法，对此做一个总结是很有必要的。

一、Introduction

首先说下这个算法是怎么来的。

很长一段时间，object在被识别之前都需要先进行划分，这就产生了图像分割。

但是图像本质上是具有层级的，如图a所示，桌子上有碗、碗里有汤匙。我们说的桌子是指桌子本身呢？还是包括桌上所有的东西呢？这就是层级。

此外，我们无法通过单一的策略来进行物体间的分割，有很多理由都可以让两个物体合并。如图b，虽然两个cat的颜色不同，但它们的纹理相同。图c，虽然变色龙的纹理和背景不同，但是颜色相同。图d，虽然轮子和车身的颜色和纹理都不同，但轮子都车身包围了。因此，图像存在分割的模糊性。

最后，还有一个问题，两个不同特征的object很有可能合并为一个object。比如，人脸+毛衣，可以判断为human。

因此，综上，对物体先进行识别是很有必要的！

传统上，是利用exhaustive search(穷举搜索) 对图像上所有的位置进行检测，为了不错过任何可能的object的位置。
但该方法的缺点是：
计算量太大，infeasible。尽管可以通过固定尺度、固定宽高比来减少搜索空间，但需要检测的位置的数量仍然很巨大。

此时，为了解决这个问题，本文提出selective search。用以生成高质量的object的位置。

二、selective search

我们使用bottom-up的层级分组算法进行selective search。

1. 首先，图像中有n个预分割的初始区域。
2. 计算每个region与它相邻region的相似度，此时可以得到n*n的相似矩阵(不相邻region间的相似度可设为NaN--Not a Number)。
3. 将相似度最大的两个区域合并，图像上还有n-1个区域。
4. 重复上面的步骤，直到所有区域合并为一个区域。
5. 我们对这些regions都加上boxes。

其中，我们采用多种策略来做合并：
1. 通过改变颜色空间(如RGB、HSV、Intensity)，在改变后的颜色空间上使用层级分组算法。
2. 考虑不同的相似性度量(颜色相似度、纹理相似度、大小相似度、吻合相似度)，详细解释各个相似度可参考这篇：4个相似度，最后的相似度是这4个相似度的加权和。
3. 当我们改变了颜色空间，会得到不一样的初始分割区域。

PLUS:相似度的评价已经有了，即4个相似度的加权和。我们可以变的就是改变颜色空间，再次实行层级分组算法，得到更多的结果。

三、Object Recognition Using Selective Search

前面我们讲了selective search可以生成proposal boxes，这一部分将阐述如何利用这些boxes进行object recognition。
流程图如下：

1.首先是准备训练集

正样本：手工标记的GT作为正样本

负样本：在给定图像中形成初始分割区域，然后利用ss得到很多候选框。计算候选框与GT的IoU(交集与并集之比)，如果IoU在20%-50%之间，且该候选框与其他已生成的负样本之间的IoU不大于70%，则将该候选框采纳为负样本，否则丢弃。

2.特征提取

提取GT和负样本区域的特征。
本文提取的特征包括：SIFT和两个color SIFT特征，它们对检测图像结构最敏感，另外增加Opponent-SIFT和RGB-SIFT。

3.训练

(这一步不一定对，加入了一些我个人的猜想)

训练采用的是SVM线性分类器，首先是随机初始化参数，Input为候选框。

将提取的候选区域特征输入到SVM中进行软分类(输出不同类别的概率值，取概率最大的作为输出类)。

分别对每个区域的概率值进行排序，将概率值小于0.5的去除，大于0.5的区域，计算其与比他分数更高区域的IoU，若IoU>30%，则把这个区域去除。最后剩下的区域为输出的目标区域。

计算其与GT的loss值，更新参数。

重复这些步骤，直到参数最佳。

4.再训练

因为训练过程中会出现负样本的输出概率也大于0.5，这会导致我们错误地认为他们是object，这些样本成为“False Postive”，我们将这些样本收集起来。
以刚才训练好的SVM参数作为初始参数，进行再训练，以提升测试的准确率。

5. 测试

测试和训练类似，Input图像->SS->特征提取->SVM软分类->概率值排序，剔除小于0.5的框->剩下的框，计算其与分数更高的框的IoU，如果重叠大于30%，则剔除。

最后的框为object，所预测的label对应所属类别。

四、Evaluation

这里说下两个重要的评价指标用于评价候选框的质量: ABO和MABO

O: 候选框与GT的IoU
BO: 每个GT得到的最大的IoU
ABO：每个class所得到的平均BO
MABO：所有class的ABO

参考文献

1.https://www.cnblogs.com/zhao441354231/p/5941190.html
2.http://blog.csdn.net/niaolianjiulin/article/details/52950797
3.http://blog.csdn.net/mao_kun/article/details/50576003
4.http://blog.csdn.net/charwing/article/details/27180421