无偏采样:意味着真实样本总体的类别比例在训练集中得以保持。
在训练集中正反例数目不同时,令表示正例数目,表示反例数目,观测几率为,,我们假设训练集是真是样本总体的无偏采样,因此观测几率就代表了真实几率。只要分类器的预测几率高于观测几率就应判定为正例,即
若 ,则预测为正例。
再缩放(再平衡): (1)。
再缩放思想虽然简单,但是实际操作却不平凡,主要因为无偏采样的假设往往不成立,就是说我们未必能有效的基于训练集观测几率来推断出真实几率。现有技术上大体上有三类做法:欠采样(下采样),过采样(上采样),阈值移动。
欠采样:若随机丢失反例,可能丢失一些重要信息。代表性算法EasyEnsemble是利用集成学习机制,将多数类样本划分若干个集合供不同学习器使用,这样对每个学习器来看都进行了欠采样,但在全局来看不会丢失信息。
过采样:不能简单的对初始样本进行重复采样,否则会招致严重的过拟合。代表性算法SMOTE,对训练集里的样本进行插值产生额外样本。
阈值移动:直接基于原始训练集进行学习,但在用训练好的分类器进行预测时,将式(1)嵌入决策过程中。
解决这类问题主要分重采样、欠采样、调整权值