类别不平衡问题

类别不平衡(cla imbalance) 就是指分类任务中不同类别的训练样例数目差别很大的情况。

在线性回归中我们使用y表示样本x判定为正例的可能性，1-y表示作为反例的可能性，分类器会这样子决策：

但是实际上对于我们观测的样本来说，可能是类别不平衡的。

无偏采样意味着真实样本总体的类别比例在训练集中得以保持。

所以我们只要使得3.48的左值在分类时大于一就可以判断为正例。

这个叫做类别不平衡学习的一个基本策略——"再缩放"(rescaling)。

不过，由于我们往往不能做到无偏采样，有三种应对方法：

1. 欠采样：去除一些反倒使得正、反例数日接近 然后再进行学习。训练集减小，时间开销也减小。
2. 过采样：对训练集里的正类样例进行"过采样" (oversampling) ，即增加一些正例使得正、反例数目接近，然后再进行学习。不过不能简单地对初始正例样本进行重复来样，否则会招致严重的过拟合。
3. 阈值移动：是直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将式(3.48) 嵌入到其决策过程中。