Faster-rcnn+在线难例挖掘（OHEM）

OHEM（在线难例挖掘）

何为难例？

如果将高中时你做的题目看作一个样本，那么做错的题目就是难例，你可以通过反复训练做错的题目就可以使自己的成绩得到提升。如果一张图片中有一个目标是鸟，但是在RPN网络中目标可能被很多框标记，这些框中有的包含了整个鸟，有的框可能只包含鸟的头部，有的可能只是包括鸟的尾巴，若这三类框都判定为鸟，肯定后面两类框是错的，那么就可以把这两类框判定为难例。通过不断被难例训练就可以使网络具有更好的鲁棒性。

难例挖掘网络

原论文中用的是fast rcnn，在这里我们只说Faster-RCNN。首先通过RPN的前景背景分数找到分数较大的前12000个，然后再进行NMS筛选出2000个rois，这2000个rois不需要通过随机筛选出正负比例是1：3的128个rois，这2000个rois直接经过RoI Pooling层之后得到维度是[2000, 7, 7, 256]维的特征图，送入到上图中的绿色网络中，求出这些rois的loss（注意这些loss是不需要反向传播的），然后再进行排序，将loss排序前128个rois重新送入到红色的网络（其实写代码应该是把这128个rois的loss直接挑出来，加到一起然后作反向回归）。