使用DBSCAN找出数据集中的异常值

1. 引言

找出数据中的异常值是数据预处理的必备工作之一，如果数据中存在异常值对于一些数据分析算法具有重大的影响。
本文主要探讨关于寻找异常值（离群值）的注意事项。

2. 离群值

离群值是指跟大部分数据差异很大的样本。比如，在一项统计国民收入的例子中，少数富豪的收入就很像离群值。离群值对于一些数据分析方法会有很大的影响。我们不妨来举个栗子。

观察上图，为两个线性模型的分析结果，可以发现右侧只是增加一个离群值，我们的分析结果就会差很多。因此，如果没有处理好离群值，对于数据分析的结果可能会产生重大影响。

3.使用直方图确认离群值

既然我们知道数据集中存在离群值会对我们的分析结果产生影响，那么我们如何来确认数据中的离群值呢？
最常见的方法是使用直方图画出数据的分布。如下所示：

观察上图，我们很容易判断出这个数据集中确实存在离群值。但是，如果我们的数据集包含两个纬度的特征呢？我们来看个例子，如下：

观察上图，为我们将两个纬度的直方图绘制出来的结果，我们根据上图能否确认离群值呢？

嗯，看起来好像是没有离群值。。。很不幸这次通过看直方图我们的结论是错的。有时候，离群值是需要同时比对数个特征才有办法观察出来。我们不妨换种表示形式，不妨使用散点图（Scatter Plot）来呈现上述数据集，结果如下：

仔细观察上图右上角有两个样本，跟其他数据样本很不同，所以可以确定是离群值。我们需要同时观察2个特征，才有办法看出离群值。但是，如果数据集中有3个特征呢，难道要画出立体散点图来观察离群值吗？那如果数据集中有4个特征呢？这时候我们连图都画不出来了怎么办？

4.使用DBSACN来寻找离群值

DBSCAN是聚类算法的一种，这个方法是通过比较样本之间的距离，来判定那些样本是同一类。另一种常见的聚类算法是K-means，这是通过比较样本跟聚类中心的距离，来判定那些样本是同一类。由于我们的问题是要找是否有样本跟其他样本很不同，因此DBSCAN比较适合。

在下述代码中，我们使用sklearn中内置的SBSCAN方法来尝试找出上图右上角两个异常的离群值。

colors = ['red','blue']
data = np.array([x, y]).T
model = DBSCAN(eps = 0.5, 
               min_samples = 1, 
               leaf_size = 1).fit(data)
plt.figure()
plt.scatter(x, 
            y, 
            c = model.labels_, 
            cmap = matplotlib.colors.ListedColormap(colors))
plt.xlabel("X")
plt.ylabel("Y")
plt.title("Scatter Plot of Feature X and Y")
plt.show()

上述代码画出来的结果如下所示：

观察上图，可以看出跟其他样本不同，右上角的两个样本被分在不同的群组里。所以，通过使用DBSCAN算法，我们可以方便的找出具有多维特征的数据集里是否含有离群值。

5. 总结

我们生活的世界里数据每秒钟都在增长，在对数据进行分析之前，发现数据中的异常对于探索性数据分析至关重要。 本文就如何寻找数据集中的离群值的方法进行了简单的介绍，在具有多维特征的数据集中，大家不妨使用DBSCAN来寻找其中是否存在离群值。

您学废了吗？

关注公众号《AI算法之道》，获取更多AI算法资讯。

参考链接