周志华西瓜书-第四天阅读-类别不平衡问题

类别不平衡

(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况。不失一般性，本节假定正类样例较少，反类样例较多.在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当， 在使用OvR 、MvM策略后产生的二分类任务仍可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法.

解决思路

第一类是直接对训练集里的反类样例进行"欠采样" (undersampling) ，即去除一些反例使得正、反例数日接近,然后再进行学习;
第二类是对训练集里的正类样例进行"过采样" (oversampling) ，即增加一些正例使得正、反例数目接近，然后再进行学习;
第三类则是直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将"再缩放"过程嵌入到其决策过程中，称为"阈值移动" (threshold-moving).