候选区域算法
object recognition=目标识别=物体识别目标识别是要分辨出图片中有什么物体,输入是图片,输出是类别标签和概率。
object dection=目标检测=物体检测:目标检测输入是图片,不仅要检测图片中有什么物体,还要输出物体的外框(x, y, width, height)来定位物体的位置。
生成候选子区域的方法总共分为两类:滑动窗口算法(sliding window algorithm)和 候选区域算法(region proposal algorithm)
滑动窗口算法:计算量比较大,基本上等于遍历图片的像素点,更何况不同的图,物体的远近不同,长宽比大小都可能不同,所以这种方法还是别用的好。
候选区域(RP)算法:用分割不同区域的办法来识别潜在的物体。在分割的时候,我们要合并那些在某些方面(如颜色、纹理)类似的小区域。相比滑窗法在不同位置和大小的穷举,候选区域算法将像素分配到少数的分割区域中。所以最终候选区域算法产生的数量比滑窗法少的多,从而大大减少运行物体识别算法的次数。同时候选区域算法所选定的范围天然兼顾了不同的大小和长宽比。
候选区域算法比较重要的特征就是要有较高的召回率。我们要通过这种方法保证拥有物体的区域都在候选区域列表里。所以不介意有很多区域什么都有,这都没关系,物体检测算法会过滤掉他们,虽然会浪费一点时间。
选择性(selective search)搜索算法:而在候选区域算法中,最常用的算法就是选择性搜索(selective search)算法,因为这个算法速度相对较快,并且召回率高。
选择性搜索算法需要先使用《Efficient Graph-Based Image Segmentation》论文里的方法产生初始的分割区域,然后使用相似度计算方法合并一些小的区域。
图1. 原图
图2. 原始分割图
但是我们不能使用原始分割图的区域作为候选区域,原因如下:
1. 大部分物体在原始分割图里都被分为多个区域
2. 原始分割图无法体现物体之间的遮挡和包含。
如果我们试图通过进一步合并相邻的区域来解决第一个问题,我们最终会得到一个包含两个对象的分段区域。
我们不要需要完美的的分割区域,我们只想要和实际物体高度重合的区域就行了。
选择性搜索算法使用《Efficient Graph-Based Image Segmentation》论文里的方法产生初始的分割区域作为输入,通过下面的步骤进行合并:
1. 首先将所有分割区域的外框加到候选区域列表中
2. 基于相似度合并一些区域
3. 将合并后的分割区域作为一个整体,跳到步骤1
通过不停的迭代,候选区域列表中的区域越来越大。可以说,我们通过自底向上的方法创建了越来越大的候选区域。表示效果如下:
图3. 候选区的建立
相似度
选择性搜索算法如何计算两个区域的相似度的呢?
主要是通过以下四个方面:颜色、纹理、大小和形状交叠
最终的相似度是这四个值取不同的权重相加
效果
opencv实现了选择性搜索算法,可以给出上千个根据有物体的可能性降序排列的候选区域。
下图是画出了前面200250个候选区域的效果。一般来说。10001200个候选区域基本能胜任物体检测的任务了。
图4. 选择性搜索算法效果图1
图5. 选择性搜索算法效果图2
----------------------------------------------------------------------------------------
第二部分来源:csdn回帖-https://bbs.csdn.net/topics/395282785
参考资料:
国内博客1:https://www.cnblogs.com/zhao441354231/p/5941190.html
—— 较清楚的描述了《Selective Search for Object Recognition》算法过程
国内博客2:https://blog.csdn.net/surgewong/article/details/39316931/
—— 介绍了算法过程中,各部分的具体计算公式,解决了博客1中的部分问题,包含github开源代码
国内博客3:https://blog.csdn.net/guoyunfei20/article/details/78723646
—— 有部分C++代码
#selective search作者网站:https://www.koen.me/research/selectivesearch/
国外博客:https://www.learnopencv.com/selective-search-for-object-detection-cpp-python/
—— 原文原英文博客