谱聚类学习笔记

谱聚类学习笔记

最近刚开始研究图像聚类这一方面，谱聚类相关的文档查阅了不少，但总是觉得有点迷糊，故而自己去找了原来的论文进行翻阅，想通过边学边记的方式来加深印象，所以可能会有不足之处，请多包涵，本文的内容主要是参考了“A Tutorial on Spectral Clustering”这篇文章。

一、相似图

考虑这样一个聚类问题，给定n个输入样本$x_1,x_2,...,x_n$，使用$s_{ij}\ge 0$来衡量两个样本点$x_i$和$x_j$之间的相似程度。而聚类问题就是把相似的点聚成一类，不相似的点在不同的类。那么显然可以利用相似图（similarity grapy）来进行聚类。

我们定义相似图 (similarity graph) $G=(V,E)$，顶点集$V=v_1,v_2,...,v_n$，输入的样本就是图中的顶点，若任意两个数据指向的相似性是正的或者说大于某一个阈值，则这两个顶点之间是有边连接的，边的权重可以使用对应的样本点间的相似性进行计算得到，我们记顶点$v_i$和$v_j$之间的权重记为$w_{ij}\ge 0$。我们知道聚类是使得高度相似的样本点在一个类别中，相似程度低的点在不同的类别中。在图中就是求这么一个分割，使得权重较高的点在一个组中，而两两组间的权重较低，这就是我们要解决的问题。

因此求解聚类问题可以转化求图的分割的方法。

1.1 构建邻接矩阵

构建相似图很重要的一点就是怎么去衡量两点间的相似程度，也就是如何定义相似图的邻接矩阵，对此有以下三种方法构建邻接矩阵：

1.1.1 The $\epsilon$-neighborhood graph

对任意两点$v_i$，$v_j$，定义两顶点之间的距离为$d_{ij}$，给定一个参数$\epsilon$，我们对顶点$v_i$和$v_j$之间的权重可以定义为：
$$w_{ij}=\{\begin{array}{ll}0& d_{ij}>\epsilon \\ \epsilon & d_{ij}\le ϵ\end{array}\text{\hspace{1em}(1)}$$
也就是说当两点间的距离超过一个阈值时，我们就将其设置为0，否则将其设置为某一个值。

1.1.2 k-nearest neighborhood graphs

我们考虑这样一个问题，如果顶点$v_j$是$v_i$的K近邻的话，那么我们将顶点$v_i$与$v_j$连接，而这会导致一个问题，不妨考虑$k=1$，那么会出现距离$v_i$最近的顶点是$v_j$，但是距离$v_j$最近的顶点不是$v_I$，这样最终生成的邻接矩阵就不是对称的，也就是生成的相似图是有向的，这显然不是我们所需要的，针对这个问题，有以下两种方法解决：

（1）只要顶点$v_i$是$v_j$的k个最近邻点或者顶点$v_j$是$v_i$的k个最近邻点，我们都将他们进行连接，公式化的表述如下：

$$w_{ij}=\{\begin{array}{ll}exp(-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})& v_i\in KN{N}_k(v_j)|v_j\in KN{N}_k(v_i)\\ 0& others\end{array}\text{\hspace{1em}(2)}$$
其中$KN{N}_k(v_i)$表示顶点$v_i$的k个最近邻点的集合。

（2）显然，第二种定义方式就是当$v_i$是$v_j$的k个最近邻点且顶点$v_j$是$v_i$的k个最近邻点时，我们才将它们进行连接，公式化的表述如下所示：
$$w_{ij}=\{\begin{array}{ll}exp(-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})& v_i\in KN{N}_k(v_j)\&\&v_j\in KN{N}_k(v_i)\\ 0& others\end{array}\text{\hspace{1em}(3)}$$
根据这两种方式，易知第一种方式定义的邻接矩阵是稠密的，而第二种方式是较稀疏的。

1.1.3 The full connected graph

该方法就是对任意两点间都定义一个相似度量，使用的计算方法就是前文所提到也就是高斯相似函数 (Gaussian similarity function) ，即对图中任意两点$v_i$与$v_j$以及对应的样本点$x_i,x_j$，它们之间的权重定义为：
$$w_{ij}=exp(-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})$$
以上就是用以构建邻接矩阵的三种方法。

二、图拉普拉斯矩阵（graph Laplacians）

我们考虑一个无向，带权图G，该图的邻接矩阵记为W，度矩阵记为D，那么图拉普拉斯矩阵L可以分为非标准化的图拉普拉斯矩阵和标准化的图拉普拉斯矩阵，针对这两种情形，我分别进行介绍。

（1）非标准化的图拉普拉斯矩阵定义为：
$$L=D-W$$
该图拉普拉斯矩阵具有以下四种性质：

1. 对任意向量$f^{\prime }\in {\mathbb{R}}^n$均满足：$f^{\prime }Lf=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(f_i-f_j{)}^2$;
2. L是对称且半正定的；
3. L的最小特征值是0，对应的特征向量是全1向量；
4. L有n个非负的实值特征向量。

定理 1：给定一个无向带权图G，权重均非负。那么图拉普拉斯矩阵中特征值为0的数量等于图G中连通分量的个数。

（2）标准化的图拉普拉斯矩阵有两种定义方式，一种是对称标准化图拉普拉斯矩阵 （symmetric graph Laplacian）,还有一种是基于随机游走的 （random walk），它们的定义如下所示：
$$\begin{gathered} L_{sym}:=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}=I-D^{-\frac{1}{2}}W{D}^{-\frac{1}{2}} \\ {L}_{rw}:=D^{-1}L=I-D^{-1}W \end{gathered}$$
非标准化的拉普拉斯矩阵具有以下性质：

1. 对任意的向量$f^{\prime }\in {\mathbb{R}}^n$均满足：$f^{\prime }{L}_{sym}f=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(\frac{f_i}{\sqrt{d_i}}-\frac{f_j}{\sqrt{d_j}}{)}^2$;
2. 当且仅当$\lambda$是$L_{sym}$的特征值且特征向量为$w=D^{\frac{1}{2}}u$时，$\lambda$为$L_{rw}$的特征值且特征向量为$u$;
3. 当且仅当$\lambda$和$u$满足$Lu=\lambda Du$时，$\lambda$是$L_{rw}$的特征值，对应的特征向量为$u$；
4. 0是$L_{rw}$的特征值，对应的特征向量为全1向量$1$，0是$L_{sym}$的特征值，对应的特征向量为$D^{\frac{1}{2}}1$；
5. $L_{rw}$和$L_{sym}$是半正定的且拥有n个非负特征值。

与非标准化拉普拉斯矩阵类似，相似图的连通分量的个数也与标准化图拉普拉斯矩阵中特征值为0的个数有关系。

定理 2：给定一个无向带权图G，权重均非负。那么$L_{rw}$以及$L_{sym}$中特征值为0的数量等于图G中连通分量的个数。

三、谱聚类算法

假定输入n个样本，任意两个样本之间的相似程度用$s_{ij}=s(x_i,x_j)$表示，采用的相似函数可以是上文所提到的高斯相似函数，最终相似度量要求是非负且对称的，记相似矩阵为$S=(s_{ij}{)}_{i,j=1,2,...n}$.

3.1 非标准化谱聚类

输入：相似矩阵$S\in {\mathbb{R}}^{n\times n}$，类别数量k；

1. 构建相似图，计算邻接矩阵$W$，度矩阵$D$；
2. 计算非标准化的图拉普拉斯矩阵 $L=D-W$;
3. 计算$L$的前k小的特征值对应的特征向量$u_1,u_2,...,u_k$;
4. 使用上一步计算得到的特征向量构建矩阵 $U\in {\mathbb{R}}^{n\times k}$，每个特征向量是矩阵U中的一列；
5. 取矩阵U的第i行记为 $y\in {\mathbb{R}}^k$,以此取遍矩阵的每一行，故而得到了新的样本点 $(y_i{)}_{i=1,2,...,n}$；
6. 对于得到的样本点$(y_i{)}_{i=1,2,..,n}$，使用k均值聚类算法进行聚类，得到聚类簇 $C_1,C_2,...,C_k$.。

输出：聚类结果 $A_1,A_2,...,A_k$，其中 A i = { j ∣ y j ∈ C i } A_i=\{j|y_j\in C_i\} Ai​={j∣yj​∈Ci​}。

3.2 基于随机游走的标准化谱聚类

输入：相似矩阵$S\in {\mathbb{R}}^{n\times n}$，类别数量k；

1. 构建相似图，计算邻接矩阵$W$，度矩阵$D$；
2. 计算基于随机游走的标准化的图拉普拉斯矩阵 $L_{rw}=I-D^{-1}W$;
3. 计算$L_{rw}$的前k小的特征值对应的特征向量$u_1,u_2,...,u_k$;
4. 使用上一步计算得到的特征向量构建矩阵 $U\in {\mathbb{R}}^{n\times k}$，每个特征向量是矩阵U中的一列；
5. 取矩阵U的第i行记为 $y\in {\mathbb{R}}^k$,以此取遍矩阵的每一行，故而得到了新的样本点 $(y_i{)}_{i=1,2,...,n}$；
6. 对于得到的样本点$(y_i{)}_{i=1,2,..,n}$，使用k均值聚类算法进行聚类，得到聚类簇 $C_1,C_2,...,C_k$.。

输出：聚类结果 $A_1,A_2,...,A_k$，其中 A i = { j ∣ y j ∈ C i } A_i=\{j|y_j\in C_i\} Ai​={j∣yj​∈Ci​}。

3.3 对称拉普拉斯矩阵的标准化谱聚类

输入：相似矩阵$S\in {\mathbb{R}}^{n\times n}$，类别数量k；

1. 构建相似图，计算邻接矩阵$W$，度矩阵$D$；
2. 计算对称图拉普拉斯矩阵 $L_{sym}=I-D^{-\frac{1}{2}}W{D}^{-\frac{1}{2}}$;
3. 计算$L_{sym}$的前k小的特征值对应的特征向量$u_1,u_2,...,u_k$;
4. 使用上一步计算得到的特征向量构建矩阵 $U\in {\mathbb{R}}^{n\times k}$，每个特征向量是矩阵U 中的一列；
5. 对矩阵U的每一行使用 $l_1$范数进行标准化来构建矩阵 $T\in {\mathbb{R}}^{n\times k}$，也就是说对矩阵T 的任一元素$t_{ij}$满足 $t_{ij}=\frac{u_{ij}}{({\sum }_k{u}_{ik}^2{)}^{\frac{1}{2}}}$;
6. 取矩阵T 的第i行记为 $y\in {\mathbb{R}}^k$,以此取遍矩阵的每一行，故而得到了新的样本点 $(y_i{)}_{i=1,2,...,n}$；
7. 对于得到的样本点$(y_i{)}_{i=1,2,..,n}$，使用k均值聚类算法进行聚类，得到聚类簇 $C_1,C_2,...,C_k$.。

输出：聚类结果 $A_1,A_2,...,A_k$，其中 A i = { j ∣ y j ∈ C i } A_i=\{j|y_j\in C_i\} Ai​={j∣yj​∈Ci​}。