机器学习小组知识点38：谱聚类（Spectral-KMeans）

此文转自：https://www.cnblogs.com/sparkwen/p/3155850.html 

对原作者表示感谢！尊重原作者版权！

谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。其中的最优是指最优目标函数不同，可以是割边最小分割——如图1的Smallest cut(如后文的Min cut)， 也可以是分割规模差不多且割边最小的分割——如图1的Best cut(如后文的Normalized cut)。

图1 谱聚类无向图划分——Smallest cut和Best cut

    这样，谱聚类能够识别任意形状的样本空间且收敛于全局最优解，其基本思想是利用样本数据的相似矩阵(拉普拉斯矩阵)进行特征分解后得到的特征向量进行聚类。

1 理论基础

    对于如下空间向量item-user matrix：

    如果要将item做聚类，常常想到k-means聚类方法，复杂度为o(tknm)，t为迭代次数，k为类的个数、n为item个数、m为空间向量特征数：

    1 如果M足够大呢？

    2 K的选取？

    3 类的假设是凸球形的？

    4 如果item是不同的实体呢？

    5 Kmeans无可避免的局部最优收敛？

       ……

    这些都使常见的聚类问题变得相当复杂。

1.1 图的表示

    如果我们计算出item与item之间的相似度，便可以得到一个只有item的相似矩阵，进一步，将item看成了Graph(G)中Vertex(V)，歌曲之间的相似度看成G中的Edge(E)，这样便得到我们常见的图的概念。

    对于图的表示(如图2)，常用的有：

邻接矩阵：E，e_ij表示v_i和v_i的边的权值，E为对称矩阵，对角线上元素为0，如图2-2。

Laplacian矩阵：L = D – E， 其中d_i (行或列元素的和)，如图2-3。

图2 图的表示

1.2 特征值与L矩阵