Spectral谱聚类

谱聚类

聚类问题可以分为两种思路：

1. Compactness，这类有 K-means，GMM 等，但是这类算法只能处理凸集，为了处理非凸的样本集，必须引入核技巧。
2. Connectivity，这类以谱聚类为代表。

谱聚类是一种基于无向带权图的聚类方法。这个图用 $G=(V,E)$ 表示，其中 V = { 1 , 2 , ⋯   , N } V=\{1,2,\cdots,N\} V={1,2,⋯,N}， E = { w i j } E=\{w_{ij}\} E={wij​}，这里 $w_{ij}$ 就是边的权重，这里权重取为相似度，$W=(w_{ij})$ 是相似度矩阵，定义相似度（径向核）：
$$\begin{gathered} w_{ij}=k(x_i,x_j)=\exp (-\frac{||x_i-x_j|{|}_2^2}{2{\sigma }^2}),(i,j)\in E \\ {w}_{ij}=0,(i,j)\notin E \end{gathered}$$
下面定义图的分割，这种分割就相当于聚类的结果。定义 $w(A,B)$：
$$A\subset V,B\subset V,A\cap B=\varnothing ,w(A,B)=\sum _{i\in A,j\in B}{w}_{ij}$$
假设一共有 $K$ 个类别，对这个图的分割 $CUT(V)=CUT(A_1,A_2,\cdots ,A_K)=\sum _{k=1}^{K}w(A_k,\overline{A_k})=\sum _{k=1}^K[w(A_k,V)-w(A_k,A_k)]$

于是，我们的目标就是 $\underset{A_k}{\min }CUT(V)$。

为了平衡每一类内部的权重不同，我们做归一化的操作，定义每一个集合的度，首先，对单个节点的度定义：
$$d_i=\sum _{j=1}^N{w}_{ij}$$
其次，每个集合：
$${\Delta }_k=degree(A_k)=\sum _{i\in A_k}{d}_i$$
于是：
$$N(CUT)=\sum _{k=1}^K\frac{w(A_k,\overline{A_k})}{\sum _{i\in A_k}{d}_i}$$
所以目标函数就是最小化这个式子。

谱聚类的模型就是：
{ A ^ k } k = 1 K = a r g m i n A k N ( C U T ) \{\hat{A}_k\}_{k=1}^K=\mathop{argmin}_{A_k}N(CUT) {A^k​}k=1K​=argminAk​​N(CUT)
引入指示向量：
KaTeX parse error: No such environment: align at position 16: \left\{ \begin{̲a̲l̲i̲g̲n̲}̲y_i\in \{0,1\}^…
其中，$y_{ij}$ 表示第 $i$ 个样本属于 $j$ 个类别，记：$Y=(y_1,y_2,\cdots ,y_N{)}^T$。所以：
$$\hat{Y}={\mathrm{argmin}}_{Y}N(CUT)$$
将 $N(CUT)$ 写成对角矩阵的形式，于是：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲N(CUT)&=Trace[d…
我们已经知道 $Y,w$ 这两个矩阵，我们希望求得 $O,P$。

由于：
$$Y^{T}Y=\sum _{i=1}^N{y}_i{y}_i^T$$
对于 $y_i{y}_i^T$，只在对角线上的 $k\times k$ 处为 1，所以：
$$Y^{T}Y=diag(N_1,N_2,\cdots ,N_K)$$
其中，$N_i$ 表示有 $N_i$ 个样本属于 $i$，即 $N_k=\sum _{k\in A_k}1$。

引入对角矩阵，根据 $d_i$ 的定义， $D=diag(d_1,d_2,\cdots ,d_N)=diag(w_{NN}{\mathbb{I}}_{N1})$，于是：
$$P=Y^{T}DY$$
对另一项 $O=diag(w(A_1,\overline{A_1}),w(A_2,\overline{A_2}),\cdots ,w(A_K,\overline{A_K})$：
$$O=diag(w(A_i,V))-diag(w(A_i,A_i))=diag(\sum _{j\in A_i}{d}_j)-diag(w(A_i,A_i))$$
其中，第一项已知，第二项可以写成 $Y^{T}wY$，这是由于：
$$Y^{T}wY=\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j^T{w}_{ij}$$
于是这个矩阵的第 $lm$ 项可以写为：
$$\sum _{i\in A_l,j\in A_m}{w}_{ij}$$
这个矩阵的对角线上的项和 $w(A_i,A_i)$ 相同，所以取迹后的取值不会变化。

所以：
$$N(CUT)=Trace[(Y^T(D-w))Y)\cdot (Y^{T}DY{)}^{-1}]$$
其中，$L=D-w$ 叫做拉普拉斯矩阵。