RCNN目标检测经典论文Rich feature hierarchies for accurate object detection and semantic segmentation》学习笔记

这个文章是对2014年发表的RCNN网络《Rich feature hierarchies for accurate object detection and semantic segmentation》论文的一些笔记。
论文下载地址：http://openaccess.thecvf.com/content_cvpr_2014/papers/Girshick_Rich_Feature_Hierarchies_2014_CVPR_paper.pdf
文本是将CNN引入目标检测领域的开山之作， 论文篇幅很长, 涉及到很多细节的内容，但其实最主要的思想是以下3个知识点:

1、Selective search算法
首先通过以及简单的聚类生成区域集合；然后根据定义的相似度不断合并相邻区域构成新的候选框。本质上是一种基于在原始聚类后的区域集合上，依照邻域的相似度，从小到大的进行滑动窗口（区域相似度综合考虑颜色、纹理、尺寸、交叠四个方面）

具体算法实现步骤如下：

• step1：计算区域集R里每个相邻区域的相似度S={s1,s2,…}
• step2：找出相似度最高的两个区域，将其合并为新集，添加进R
• step3：从S中移除所有与step2中有关的子集
• step4：计算新集与所有子集的相似度
• step5：跳至step2，直至S为空
  SS算法：选择性搜索(生成2000个候选区域)${}^{[1]}$

2、非极大值抑制
目标检测的过程中在同一目标的位置上会产生大量的候选框，这些候选框相互之间可能会有重叠，此时我们需要利用非极大值抑制找到最佳的目标边界框，消除冗余的边界框。
非极大值抑制的流程如下：

• Step1: 根据置信度得分进行排序
• Step2: 选择置信度最高的比边界框添加到最终输出列表中，将其从边界框列表中删除
• Step3: 计算所有边界框的面积
• Step4: 计算置信度最高的边界框与其它候选框的IoU。
• Step5: 删除IoU大于阈值的边界框
  重复上述过程，直至边界框列表为空。

3、Hard Negative Mining

1. 在 bootstrapping 方法中, 我们先用初始的正负样本训练分类器, 然后再用训练出的分类器对样本进行分类, 把其中负样本中错误分类的那些样本(hard negative)放入负样本集合, 再继续训练分类器, 如此反复, 直到达到停止条件(比如分类器性能不再提升).
2. We use the following “bootstrap” strategy that incrementally selects only those “nonface” patterns with high utility value:

• Step1: Start with a small set of “nonface” examples in the training database.
• Step2: Train the MLP classifier with the current database of examples.
• Step3: Run the face detector on a sequence of random images. Collect all the “nonface” patterns that the current system wrongly classifies as “faces” (see Fig. 5b). Add these “nonface” patterns to the training database as new negative examples.
• Step4: Return to Step2

参考
[1] R-CNN目标检测的selective search（SS算法) https://www.cnblogs.com/wxl845235800/p/10409095.html
[2] 非极大值抑制(Non-Maximum Suppression) https://zhuanlan.zhihu.com/p/37489043
[3] Fast RCNN 中的 Hard Negative Mining https://www.cnblogs.com/nowgood/p/Hardexamplemining.html