思想:
- 选择一些hard example作为训练的样本从而改善region-based网络参数效果,hard example指的是有多样性和高损失的样本。
- 本文在Fast R-CNN的基础上做了改进,在每次minibatch(1张或者2张)训练时加入在线筛选hard region的策略
- OHEM适合于batch size(images)较少,但每张image的proposal很多的情况
- 是一种bootstrapping方式(利用有限的样本资料经由多次重复抽样,重新建立起足以代表母体样本分布的新样本),但是忽略了简单样本,改变了整个输入的分布
- 对于RPN提出的所有proposal FM,后边接两个ROI net,绿色的net只forward,而红色的net做forward和backward。
- 前边的Conv net共享权重,为了减少显存以及后向传播的时间,两个ROI net也共享权重
过程:
- 将原图的所有proposal输入ROI A,计算两个loss
- 将loss降序排列,并经过NMS(防止重叠很大的目标的loss计算两次的问题),提取出前K个proposal
- 将这K个proposal送入ROI B,计算loss并更新整个网络
一个简单但不好的方法:将所有proposal计算loss并只back那些hard proposal,不过需要缓存很大。