不平衡数据研究

不平衡数据

不平衡数据的表现：

1. 较少的正样本数，并且具有最少实例数的类通常是学习任务的兴趣类。
2. 正负样本交替重叠（如图a）
3. 小的不相连的样本(如图b)
   

不平衡数据的处理方法主要有：

1. 数据层面：通过对数据进行预处理来减少类不平衡对于分类的影响——随机过采样、随机欠采样、综合采样
2. 算法层面：通过设计新算法或改进已有算法来解决类不平衡问题
3. 代价敏感学习：该方法介于数据层面和算法层面之间，它包含了数据层面的转换（通过增加实例的成本）和算法层面的修改（通过修改学习过程来接受成本）。
4. 集成学习：结合不平衡数据的特点对标准的集成学习的算法进行调整，通过在每个分类器的学习阶段之前使用数据层的方法对不平衡数据进行预处理，或者将一个代价敏感学习框架嵌入到集成学习过程中来解决数据不平衡问题。——基于Boosting的集成学习

一般来说，算法层面和代价敏感的方法更依赖于问题，而数据层面和集成学习方法更具通用性，因为它们可以独立地使用基本分类器。

---

数据层面