OHEM

思想：

• 选择一些hard example作为训练的样本从而改善region-based网络参数效果，hard example指的是有多样性和高损失的样本。
• 本文在Fast R-CNN的基础上做了改进，在每次minibatch（1张或者2张）训练时加入在线筛选hard region的策略
• OHEM适合于batch size（images）较少，但每张image的proposal很多的情况
• 是一种bootstrapping方式（利用有限的样本资料经由多次重复抽样，重新建立起足以代表母体样本分布的新样本），但是忽略了简单样本，改变了整个输入的分布
• 对于RPN提出的所有proposal FM，后边接两个ROI net，绿色的net只forward，而红色的net做forward和backward。
• 前边的Conv net共享权重，为了减少显存以及后向传播的时间，两个ROI net也共享权重

 

过程：

• 将原图的所有proposal输入ROI A，计算两个loss
• 将loss降序排列，并经过NMS（防止重叠很大的目标的loss计算两次的问题），提取出前K个proposal
• 将这K个proposal送入ROI B，计算loss并更新整个网络

一个简单但不好的方法：将所有proposal计算loss并只back那些hard proposal，不过需要缓存很大。