dbscan和谱聚类_拉普拉斯降维与谱聚类

高维数据聚类（数据分布稀疏）和分布任意形状（DBSCAN可以实现，但是需要指定超参数）的聚类是传统聚类算法比较难做的。谱聚类可以很好的解决这两个问题，一般而言，可以概括为降维->聚类两个过程：1、降维，保留高维空间的局部几何结构，将本真结构投影到低维空间中，这样就直接解决了任意数据分布聚类的问题，同时降维也有利于解决高维度的问题。谱聚类是通过拉普拉斯降维来实现的；2、聚类，通过传统聚类算法，谱聚类用的是k-means，在低维空间中实现聚类。下面重点讲一下拉普拉斯降维。

拉普拉斯降维（Laplacian Eigenmaps），可以归类到流形学习，思想是相互之间有关系的点，降维之后足够接近；没有关系的点，降维之后足够远，相互之间的关系可以用KNN来构建weight矩阵（每个数据点，只保留最近的k个数据点的距离，其他为0）。公式化一下：

其中

是降维之后的子空间，如果越相似，那么距离就应该越小以保证目标最小化。上面只考虑了降维到一个feature的情况。为的是方便推导，上面的方程可以改写为：

按照基本的线性代数知识，

只有对角线上有值，代表数据点所连的weight之和，度矩阵。

目标变为最小化:

实际上，距离

， 应该是子空间所有feature的距离之和，可以让多个低维feature按列堆叠，优化目标为：

很好理解，每个对角线元素代表一个feature的优化结果，求和就是秩。

拉普拉斯矩阵一般还要做归一化处理，也就是为了避免离群点，weight矩阵用度矩阵归一化，一般而言，有两种思路：

,

的直观认识是weight矩阵每个元素用数据点的度归一化：

另外一种理解思路是用图划分的角度理解，图划分就是把图划分称为很多子group，可以说对应了聚类结果，具体过程网上有很多，这里不再补充，这里说说我上面的目标怎么跟图划分联系起来的

如果

是0-1变量，代表数据划分为两个子图，最后目标是两个子图之间的weight之和，可以看出这个目标对应了图划分的目标，问题是图划分是NP-hard的，因此转化为拉普拉斯降维来做。这里

的含义也是一种“不确定”（非0-1）的划分。

那么拉普拉斯降维后，子空间每一个维度代表了不同角度的图划分（每次都划分为两个子图）

RatioCut和N-cut对应拉普拉斯矩阵的归一化方法。