样本均衡之OHEM

论文地址：Training Region-based Object Detectors with Online Hard Example Mining

OHEM 主要解决神经网络中困难负样本的问题。

困难负样本是神经网络难以区分的负样本。我们希望模型在训练的时候，负样本的confidence接近0，但是如果不加干涉，总会有一些负样本不那么接近0。难样本挖掘就是要找到这些样本，针对性地训练。

主要贡献：

1、不需要设置正负样本的比例来解决类别不均衡的问题。
2、数据集越大，性能越加明显。

主要原理

1、根据损失进行筛选，选出对分类和检测影响大的样本。

2、将ROI网络进行扩充为2个，一个只有前向传播，计算loss，另一个正常前向和反向传播，但是只以hard example作为输入。计算损失和梯度回传。

那么问题来了，如何选择正负样本，如何选择难样本？

1、正负样本选取：
ROI 与groud truth IOU 大于0.5 为正，ROI 与所有groud truth IOU 均小于0.5 为负。 这么选负样本应该会很多，可以提高IOU抑制负样本，比如选 0.6。
2、难样本：
选择ROI损失最大的样本，并使用NMS去重，设置IOU = 0.7,大于0.7的去除。

OHEM 作为一种设计思路，很容易嵌入到检测网络当中。下面以OHEM 嵌入到Faster-RCNN 为例子：
Faster RCNN 主要由：
主干卷积网络，ROI Pooling 网络，全连接网络和两个输出。

将OHEM 嵌入后如下：

（a）部分只计算loss，不进行方向传播，计算得出难例子样本。
（b）部分将难例样本作为输入，进行前向和反向传播，计算两个输出。

与排序取样本的区别

SSD 中难负样本挖掘：
按照置信度误差排序，选取较大误差的前k个作为训练负样本，同时保证正负样本的比例接近1：3。质量和数量的保证。

而OHEM是通过对hard samples进行训练，解决样本不平衡问题，同时提高了算法识别率

OHEM可以帮助2-stage检测算法提升训练效果，通过对ROI loss值进行排序从而筛选出loss值非常大的ROI，这便是所谓的“困难负例”。