传统的分类算法在面向不平衡数据时,效果一般,尤其是对少数类的判断准确率很低,而现实生活中少数类往往是比多数类更有价值的。例如,网络安全预测中,可能1000次通信只有几次是真的网络攻击,但是将正常通信判断为攻击和将攻击判断为正常通信带来的后果是完全不同的,我们其实更在意判断是网络攻击的准确率。
针对不平衡数据,我们往往从数据和算法两个层面来进行处理:
(一)数据层面:又可分为过抽样和欠抽样。
a) 过抽样指的是增加少数类的样本数(可以直接重复已有数据,也可以按照一定规则合 成少数类数据);
b) 欠抽样指的是减少多数类样本的数量,例如,可以将多数类样本分为“噪音样本”,“边界样本”,“安全样本”,我们将“噪音样本”和“边界样本”删除,只保留“安全样本”,这样就减少了多数类样本的数量。
(二)