论文笔记OHEM（Online Hard Example Mining）

1. 简介

来自2016年论文《Training Region-based Object Detectors with Online Hard Example Mining》。在线困难样本挖掘OHEM（Online Hard Example Mining）。如字面意思，OHEM加强了对困难样例的检测，提高了mAP。

 

Bootstrapping算法，指的就是利用有限的样本资料经由多次重复抽样，重新建立起足以代表母体样本分布的新样本。Bootstrapping现在经常叫做hard negative mining。作者把OHEM当作一个新颖的Bootstrapping技术。

 

物体检测一般有两种方法，一种是overfeat那样，采用sliding-window 检测方法；一种是像R-CNN，使用region proposal。OHEM是基于第二种，以Fast R-CNN为例，其他region 方法也可以用。

 

将OHEM应用于Fast R-CNN有下面3个好处：

1. 去除了一些region-based 卷积网络中的启发式和超参数；
2. 提升了mAP；
3. 当训练数据变得更大、更困难，该方法更有效。

 

2.网络结构

原Fast R-CNN，结构如下。

 

下图是加了OHEM后的Fast R-CNN结构：包含两个RoI network，其中一个是只读的RoI network，一个是标准的RoI network。只读的RoI network仅为所有RoI的前向传输分派记忆，而另一个标准的RoI network为前向和后向传输都分配记忆。

 

在一个SGD迭代中，有了conv feature map后，只读的RoI network作用前向传输，计算所有输入RoI的损失(绿色箭头)，将这些RoI 损失排序，hard sampling 模块选择前B个表现较差的hard example（R_hard-sel），将其输入到标准的RoI network（红色箭头）。标准的RoI network仅对R_hard-sel计算前向、后向传输，累计梯度并让他们通过卷积网络。

 

3.花里胡哨技巧

1. Multi-sacle：采用图片的多尺度进行训练、预测。
2. 迭代bounding-box 回归：采用了两次迭代。

 

效果如下图，提高了mAP：

 

4.检测结果

下表的ours代表OHEM，可以看到采用OHEM的mAP效果很好。