【样本不均衡】

类别的不同比例的影响

论文1用浅层CNN在CIFAR-10数据集上通过设计类别的不同比例：

作者发现，样本数量的差异会对模型的性能影响很大。比如Dist.5情况中，除airplane外其它类别几乎识别不到。

类样本均衡解决还会面临难易样本不均衡造成易样本支配问题

因为存在Hard example，有的类别样本比较困难，而且它的loss又淹没在大多数分类比较准确的类别的loss中，即easy example dominant问题。

OHEM 思路将注意力转移到loss上，大概思路就是当分类器学习多个epoch即将收敛的时候，example的“难”和“易”都能反映在loss的大小上，所以当loss小的时候就意味着分类器对此类别的精度较理想，不做BP，当loss较大的时候意味着hard example来了，做BP。优美，但不够完美。Hard skill。

focal_loss将predictions作为example的难易反馈整合到loss中，在每次迭代中都能够自适应地鉴别样本的“难”还是“易”

解决正负样本不均衡上，
一个普遍解决类别不平衡的方法是增加权重参数α∈[0,1]α 被设成逆类别频率（inverse class frequence）

因此，α−balancedα−balanced 的CE损失函数为**
**

尽管α能平衡positive/negative的重要性，但是无法区分简单easy/困难hard样本。