What makes for Effective detection proposals?论文阅读笔记

                      What makes forEffective detection proposala?（2016.PAMI）

Jan Hosang,Rodrigo Benenson, Piotr Doll_ar, and Bernt Schiele

文章有参考这个网址的部分内容：http://blog.csdn.net/baobei0112/article/details/47950963

一、摘要

背景：目前的目标检测算法常常使用detection proposal替代slidingwindows（节省计算时间），虽然这种方法很流行，但是在目标检测过程中做了哪些权衡依旧不清晰。

论文性质：本文是一篇关于detection proposal的综述性论文。

论文的主要贡献点：（1）基于三个行人检测数据库（PASCAL07, ImageNet & MS COCO）深度分析了12中proposal方法以及4种Baseline的proposalrepeatability & recall.对于目标检测，提升proposal的定位（2）引入了一个新的度量方式：AR（average recall）来评价proposals的召回率以及定位准确率的综合表现。AR与detector的表现呈现一致的相关性。

本文展现了各种detectionproposal方法的优缺点，并提供了选择以及调节proposal methods的角度以及度量标准。

二、文章主要内容

1、detection proposal含义

如果能设计一个方法，对于输入的图像，输出一个可能含有目标区域的候选区域集。如果这些区域数量比滑动窗口数少很多并且能有很好的召回率，就能在进一步使用复杂的classifier时提高效率。这种方法就是就是detectionproposal。

2、介绍了12种本文要分析的detection proposal方法，以及四种Baseline。

3、引入repeatability概念，并分析各种方法的repeatability。

     背景：文章中有一段话，大概就是引入repeatability的原因：if the proposal method does notconsistently propose windows on similar image content without objects or withpartial objects, the classifier may have difficulty generating scores onnegative windows on the test set. As an extreme, motivational example, considera proposal method that generates proposals containing only objects on thetraining set but containing both objects and negative windows on the test set.A classifier trained on such proposals would be unable to differentiate objectsfrom background, thus at test time would give useless scores for the negativewindows.如果proposal方法对包含部分目标或者不包含目标的相似的图像不能产生一致的窗口，分类器将不能对测试集的负样本产生分数。一个极端的例子就是：如果一个proposal方法在训练集只产生包含目标的候选区域，但在测试集产生的候选区域既包含目标区域又包含背景区域，基于此训练的classifier将不能从背景中区分目标，因此会对测试集的背景区域打出无用分数。因为这个原因，就要进行repeatability实验。

     实验：对于每种proposal方法，分别对原图像&扰动图像（加噪声，变尺寸等）产生1000个候选区域，然后匹配这两个1k候选区域，作recall~IoU曲线，曲线下方的区域就表示repeatability。

结果：即使是小的扰动也会对detectionproposal方法的结果产生大的差异，除了Bing方法。有一堆曲线图，就不贴了。

4、比较Recall。

4.1、背景：如果proposal没有检测出目标，就直接导致目标丢失无法恢复，后续classifier无法检测，因此detectionproposal方法的召回率很重要。

4.2、实验：实验采用的是控制变量法。

（1）控制每种proposal方法产生的proposal数量一定，随着IoU要求提高，观察recall的变化曲线比较各proposal方法。

（2）定义好IoU值，随着proposal数量增加，观察召回率的变化来比较各proposal方法。（下图c不是）

（3）引入AR(average recall)概念

横轴是proposal数量的变化，纵轴不再是固定IoU的recall，而是IoU在[0.5,1]区间的平均召回率，比较各proposal方法。（下图左中右分别是PASCAL07, ImageNet & MS COCO的结果）

 

    （4）比较各proposal方法在不同数据库上述三种方式的曲线图。

4.3、结论

（1）MCG在所有数据集中表现结果最好。

（2）各种proposal方法在三个数据库的表现基本一致，说明没有发生过拟合，泛化能力很好。

5、将proposal方法应用到detection中

使用了两种detector：LM_LLDA& R_CNN,作者都是一个人，大神！用每种proposal对每幅图产生1000个proposals，然后应用到detector中。

5.1 测试了各detector的scores随检测窗口与ground truth的重合比的变化而变化的趋势。

5.2 LM_LLDA & R_CNN & fast R_CNN

5.3、结论

（1）proposals定位越准确，对分类器的帮助越大。

（2）在LM_LLDA & R_CNN方法中，mPA最高的四种proposal方法分别是：MCG,Edgeboxes, SelectiveSearch, Rigor。

（3）AR的结果与mAP的结果有很强的一致性。

（4）可以利用AR作为指导去调整proposal的参数，从而产生更好的结果。

三、论文discussion（这一部分有参考网络）

6.1总结

（1）repeatability：目前的OP方法效果都一般。可能通过对噪声和扰动更加鲁棒的特征能够提高OP方法的repeatablilty。但是repeatability低不代表最后mAP就低，比如SelectiveSearch，所以最后还是看要应用场景。

（2）如果OP方法定位越准确，那么对分类器帮助会越大。所以对于OP方法来说，IoU为0.5的recall不是一个好的标准。高recall但是定位不准确，会伤害到最后的mAP。

（3）MCG,SeletiveSearch,EdgeBoxes,Rigor是目前表现最好的方法，其中速度以EdgeBoxes和Geodesic为优。

（4）目前的OP方法在VOC07和ImageNet的表现都差不多，说明它们都有着不错的泛化性能。

6.2 讨论

（1）如果计算能力上去了，OP还有用吗？作者认为如果运算性能允许的话，滑动窗口加上CNN等强分类器会有着更好的效果。

（2）作者观察到在目前OP中使用的特征（比如objectboundary和superpixel），不会在分类器中使用；然后OP方法中除了MultiBox之外就没有其他OP有使用CNN特征。作者期待会有工作能够结合下这两者的优势。

（3）最后，作者对做了三点猜测：之后top down可能会在OP中起到更加重要的作用；以后OP和detector的联系会更加紧密；OP生成的segmentation mask会起到更加重要的作用。

四、读论文感受

       见识了什么叫做真正的综述，12中proposal+4种Baseline，每种方法要对三种数据集针对各种各样的处理产生结果，见识了巨大的工作量。作者对于工作在宏观上思路非常明确，有条理，这对于科研工作的开展也是十分有帮助。同时，读PAMI的论文知道为什么中PAMI为什么那么难，真的需要太大的学习和工作量！