聚类算法之DBSCAN算法之二：高维数据剪枝应用NQ-DBSCAN

一、经典DBSCAN的不足

1.由于“维度灾难”问题，应用高维数据效果不佳
2.运行时间在寻找每个点的最近邻和密度计算，复杂度是O(n2)。当d>=3时，由于BCP等数学问题出现，时间复杂度会急剧上升到Ω（n的四分之三次方）。

二、DBSCAN在高维数据的改进

目前的研究有Grid-based和approx等方向，基于Grid-based结构的有Fast-DBSCAN，时间复杂度最坏是O(n*log(n))，但只使用于二维数据空间。ρ-approximate DBSCAN使用四叉树分级结构，在d（维度）相对较小时，运行时间呈线性O(n)，d较高时，运行时间是O(n2)。

三、NQ-DBSCAN

NQ-DBSCAN即在ρ-approx DBSCAN的基础上，对高维数据聚类时，采用剪枝操作，减少不必要的距离计算。它的平均时间复杂度是O(n*log(n))，索引结构也是四叉树分级结构最优时间复杂度是O(n)。

3.1 NQ-DBSCAN的假设与结论

NQ-DBSCAN即使用三角不等式的性质，通过一个点的NBHD,不必计算所有区域，只要计算小面积的点，就可以找到其临近点的NBHD,即剪枝。
假设：当点p和q距离很近时，他们的ε-NBHD也很近（近邻区域，不了解的朋友可以看上一篇博客）。给定ε，两点距离越近，NBHD越相似。如图：