机器学习笔记 - 使用SMOTE和Near Miss算法处理不平衡数据

一、概述

        在机器学习和数据科学中，我们经常遇到一个称为不平衡数据分布的术语，通常发生在其中一个类中的观察值远高于或低于其他类时。由于机器学习算法倾向于通过减少误差来提高准确性，因此它们不考虑类分布。这个问题在欺诈检测、异常检测、面部识别等示例中很普遍。

        决策树和逻辑回归等标准 ML 技术偏向于多数类，并且倾向于忽略少数类。他们倾向于只预测多数类别，因此，与多数类别相比，少数类别存在重大错误分类。用更专业的术语来说，如果我们的数据集中的数据分布不平衡，那么我们的模型更容易出现少数类的召回率可以忽略不计或非常少的情况。

        不平衡数据处理技术：主要有两种主要的算法被广泛用于处理不平衡的类分布。

        SMOTE和Near Miss算法，下面对这两种算法进行简单描述。

1、SMOTE

        SMOTE - Synthetic Minority Oversampling Technique（合成少数过采样技术）是解决不平衡问题最常用的过采样方法之一。它旨在通过复制少数类示例随机增加少数类示例来平衡类分布。

        SMOTE 在现有少数实例之间合成新的少数实例。 它通过对少数类的线性插值生成虚拟训练记录。 这些合成训练记录是通过为少数类中的每个示例随机选择一个或多个 k 最近邻生成的。 在过采样过程之后，数据被重构并且可以对处理后的数据应用多个分类模型。