（3）聚类算法之DBSCAN算法

1.引言

       DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一基于密度的聚类算法，DBSCAN将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

2.DBSCAN相关定义

       DBSCAN是基于一组邻域来描述样本集的紧密程度的，参数$(ϵ,MinPts)$用来描述邻域的样本分布紧密程度。其中，$ϵ$描述了某一数据点的邻域距离阈值（半径），$MinPts$描述了数据点半径为$ϵ$的邻域中数据点个数的最小个数。下面是与密度聚类相关的定义（假设我的样本集是$D=(x_1,x_2,...,x_m)$）：

• $ϵ$-邻域：对于$x_j\in D$，其$ϵ$-邻域包含样本集$D$中与$x_j$的距离不大于$ϵ$的子样本集。即 N ϵ ( x j ) = { x i ∈ D ∣ d i s t a n c e ( x i , x j ) ≤ ϵ } N_ϵ(x_j)=\{x_i∈D|distance(x_i,x_j)≤ϵ\} Nϵ​(xj​)={xi​∈D∣distance(xi​,xj​)≤ϵ}, 这个子样本集的个数记为$|N_{ϵ}(x_j)|$。$ϵ$-邻域是一个集合
• 核心对象：对于任一样本$x_j\in D$，如果其$ϵ$-邻域对应的$N_{ϵ}(x_j)$至少包含$MinPts$个样本，即如果 $|N_{ϵ}(x_j)|\ge MinPts$，则$x_j$是核心对象。
• 密度直达：如果$x_i$位于$x_j$的$ϵ$-邻域中，且$x_j$是核心对象，则称$x_i$由$x_j$密度直达。反之不一定成立，即此时不能说$x_j$由$x_i$密度直达, 除非且$x_i$也是核心对象，即密度直达不满足对称性
• 密度可达：对于$x_i$和$x_j$,如果存在样本样本序列$p_1,p_2,...,p_T$,满足$p1=x_i,p_T=x_j$, 且$p_{t+1}$由$p_t$密度直达，则称$x_j$由$x_i$密度可达。也就是说，密度可达满足传递性。此时序列中的传递样本**$p_1,p_2,...,p_{T-1}$均为核心对象**，因为只有核心对象才能使其他样本密度直达。密度可达也不满足对称性，这个可以由密度直达的不对称性得出。
• 密度相连：对于$x_i$和$x_j$,如果存在核心对象样本$x_k$，使**$x_i$和$x_j$均由$x_k$密度可达**，则称$x_i$和$x_j$密度相连。密度相连关系满足对称性。

        从下图可以很容易看出理解上述定义，图中$MinPts=5$，红色的点都是核心对象，因为其$ϵ$-邻域至少有$5$个样本。黑色的样本是非核心对象。所有核心对象密度直达的样本在以红色核心对象为中心的圆内，如果不在圆内，则不能密度直达。图中用绿色箭头连起来的核心对象组成了密度可达的样本序列，此序列是一个簇集。在这些密度可达的样本序列的ϵ-邻域内所有的样本相互都是密度相连的 (注意，此图中有两个簇集)。

3.DBSCAN密度聚类思想

3.1 DBSCAN算法定义

        DBSCAN的聚类定义很简单： 由密度可达关系导出的最大密度相连的样本集合，即为我们最终聚类的一个类别，或者说一个簇。（注意是密度相连的集合），簇里面可以有一个或者多个核心对象。如果只有一个核心对象，则簇里其他的非核心对象样本都在这个核心对象的$ϵ$-邻域里；如果有多个核心对象，则簇里的任意一个核心对象的$ϵ$-邻域中一定有一个其他的核心对象，否则这两个核心对象无法密度可达。这些核心对象的$ϵ$-邻域里所有的样本的集合组成的一个DBSCAN聚类簇。

        那么怎么才能找到这样的簇样本集合呢？DBSCAN使用的方法很简单，它任意选择一个没有类别的核心对象作为种子，然后找到所有这个核心对象能够密度可达的样本集合，即为一个聚类簇。接着继续选择另一个没有类别的核心对象去寻找密度可达的样本集合，这样就得到另一个聚类簇 （这样的得到都肯定是密度相连的）。一直运行到所有核心对象都有类别为止。

        基本上这就是DBSCAN算法的主要内容了，是不是很简单？但是我们还是有三个问题没有考虑。

• 异常点问题：一些异常样本点或者说少量游离于簇外的样本点，这些点不在任何一个核心对象在周围，在DBSCAN中，我们一般将这些样本点标记为噪音点。
• 距离度量问题：即如何计算某样本和核心对象样本的距离。在DBSCAN中，一般采用最近邻思想，采用某一种距离度量来衡量样本距离，比如欧式距离、曼哈顿距离等。
• 数据点优先级分配问题：例如某些样本可能到两个核心对象的距离都小于ϵ，但是这两个核心对象由于不是密度直达，又不属于同一个聚类簇，那么如果界定这个样本的类别呢？一般来说，此时DBSCAN采用先来后到，先进行聚类的类别簇会标记这个样本为它的类别。也就是说BDSCAN的算法不是完全稳定的算法。

3.2 DBSCAN算法流程

输入：样本集$D=(x_1,x_2,...,x_m)$，邻域参数$(ϵ,MinPts)$

1. 初始化核心对象集合$\Omega =\varnothing ,$初始化类别$k=0$
2. 遍历$D$的元素，如果是核心对象，则将其加入到核心对象集合$\Omega$中
3. 如果核心对象集合$\Omega$中元素都已经被访问，则算法结束，否则转入步骤4.
4. 在核心对象集合$\Omega$中，随机选择一个未访问的核心对象$o$，首先将$o$标记为已访问，然后将$o$标记类别$k$，最后将$o$的$ϵ$-邻域中未访问的数据，存放到种子集合$seeds$中。
5. 如果种子集合$seeds=\varnothing$，则当前聚类簇$C_k$生成完毕, 且$k=k+1$，跳转到3。否则，从种子集合$seeds$中挑选一个种子点$seed$，首先将其标记为已访问、标记类别$k$，然后判断$seed$是否为核心对象，如果是将$seed$中未访问的种子点加入到种子集合中，跳转到5。

4.DBSCAN算法实现

4.1 使用numpy实现DBSCAN算法

import numpy as np
import matplotlib.pyplot as plt
from scipy.spatial.distance import pdist
from scipy.spatial.distance import squareform
import time
# 计算距离矩阵
def compute_squared_EDM(X):
  return squareform(pdist(X,metric='euclidean'))

# DBSCAN算法核心过程
def DBSCAN(data,eps,minPts):
    # 获得距离矩阵
    disMat = compute_squared_EDM(data)
    # 获得数据的行和列(一共有n条数据)
    n, m = data.shape
    # 将矩阵的中小于minPts的数赋予1，大于minPts的数赋予零，然后1代表对每一行求和,然后求核心点坐标的索引
    core_points_index = np.where(np.sum(np.where(disMat <= eps, 1, 0), axis=1) >= minPts)[0]
    # 初始化类别，-1代表未分类。
    labels = np.full((n,), -1)
    clusterId = 0
    # 遍历所有的核心点
    for pointId in core_points_index:
        # 如果核心点未被分类，将其作为的种子点，开始寻找相应簇集
        if (labels[pointId] == -1):
            # 首先将点pointId标记为当前类别(即标识为已操作)
            labels[pointId] = clusterId
            # 然后寻找种子点的eps邻域且没有被分类的点，将其放入种子集合
            neighbour=np.where((disMat[:, pointId] <= eps) & (labels==-1))[0]
            seeds = set(neighbour)
            # 通过种子点，开始生长，寻找密度可达的数据点，一直到种子集合为空，一个簇集寻找完毕
            while len(seeds) > 0:
                # 弹出一个新种子点
                newPoint = seeds.pop()
                # 将newPoint标记为当前类
                labels[newPoint] = clusterId
                # 寻找newPoint种子点eps邻域（包含自己）
                queryResults = np.where(disMat[:,newPoint]<=eps)[0]
                # 如果newPoint属于核心点，那么newPoint是可以扩展的，即密度是可以通过newPoint继续密度可达的
                if len(queryResults) >= minPts:
                    # 将邻域内且没有被分类的点压入种子集合
                    for resultPoint in queryResults:
                        if labels[resultPoint] == -1:
                            seeds.add(resultPoint)
            # 簇集生长完毕，寻找到一个类别
            clusterId = clusterId + 1
    return labels

# 将分类后的数据可视化显示
def plotFeature(data, labels_):
    clusterNum=len(set(labels_))
    fig = plt.figure()
    scatterColors = ['black', 'blue', 'green', 'yellow', 'red', 'purple', 'orange', 'brown']
    ax = fig.add_subplot(111)
    for i in range(-1,clusterNum):
        colorSytle = scatterColors[i % len(scatterColors)]
        subCluster = data[np.where(labels_==i)]
        ax.scatter(subCluster[:,0], subCluster[:,1], c=colorSytle, s=12)
    plt.show()

# 加载数据
data = np.loadtxt("./cluster2.csv", delimiter=",")
start = time.clock()
# DBSCAN聚类并返回标识；ϵ=2，且MinPts=15
labels=DBSCAN(data,3,30)
end = time.clock()
print('finish all in %s' % str(end - start))
plotFeature(data, labels)

注意：棕色是离群点

4.2 使用scikit-learn调用DBSCAN算法

# -*- coding: utf-8 -*-
import numpy as np
from sklearn.cluster import DBSCAN
# 加载数据
data=np.loadtxt("788points.txt",delimiter=",")
# 构造一个ϵ=2,MinPts=15的聚类器，距离使用欧式距离
estimator=DBSCAN(eps=2,min_samples=15,metric='euclidean')
# 聚类数据
estimator.fit(data)
# 输出聚类都类别（-1代表异常点）
print(estimator.labels_)

5.DBSCAN优缺点

DBSCAN的主要优点有：

• 可以对任意形状的稠密数据集进行聚类，相对的，K-Means之类的聚类算法一般只适用于凸数据集。
• 可以在聚类的同时发现异常点，对数据集中的异常点不敏感。
• 聚类结果没有偏倚，相对的，K-Means之类的聚类算法初始值对聚类结果有很大影响。

DBSCAN的主要缺点有：

• 如果样本集的密度不均匀、聚类间距差相差很大时，聚类质量较差，这时用DBSCAN聚类一般不适合。
• 如果样本集较大时，聚类收敛时间较长
• 调参相对于传统的K-Means之类的聚类算法稍复杂，主要需要对距离阈值ϵ，邻域样本数阈值MinPts联合调参，不同的参数组合对最后的聚类效果有较大影响。

6.数据及代码下载地址

• GitHub的数据及代码下载地址为：GitHub的数据及代码下载链接（如果从GitHub下载代码，麻烦给小Demo一个Star，您的支持是我最大的动力）