【机器学习】K-Means 聚类是特殊的矩阵分解问题

【机器学习】K-Means 聚类是特殊的矩阵分解（Matrix Factorization）问题

---

原文是：《k-Means Clustering Is Matrix Factorization》

本博客是该论文的阅读笔记，不免有很多细节不对之处。

还望各位看官能够见谅，欢迎批评指正。

更多相关博客请猛戳：http://blog.csdn.net/cyh_24

如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50408884

论文证明了传统的K-Means算法的目标函数可以被表达成数据矩阵与其低阶数据矩阵之间差异的Frobenius范数。

简要的说，K-Means 聚类其实是一种矩阵分解问题。

K-Means的推导，我想大家都已经很清楚了，这里不细说。它的目标函数，可以定义如下：

$$\sum_{i=1}^k \sum_{j=1}^n z_{ij} ||x_j-\mu_i||^2$$

如果能够把目标函数表达成如下形式，那么也就证明了K-Means聚类是特殊的矩阵分解问题。

$$?=||X-MZ||^2$$ $$?=||X-XZ^T(ZZ^T)^{-1}Z||^2$$

先不用深究，下文会详细介绍，先注意几个变量的意义：
数据集 $X\in R^{m*n}$ 是向量 $x_i \in R^m$ 的矩阵；
$M\in R^{m*k}$，是类中心点 $\mu_i \in R^m$ 的矩阵；
$Z\in R^{k*n}$，是二值指示变量$z_{ij}$的矩阵；若$x_j \in C_i$，则$z_{ij}=1$，否则 $z_{ij}=0$；

数学符号说明

1. $x_i$ 表示矩阵 $X$ 的第 $j$-th列向量（好像与平常的相反了）；
2. $X$的第$(l,j)$的元素可以写成$x_{lj}$或者$(X)_{lj}$ ；
3. $||x||$ 表示欧式距离，
4. $||X||$ 则表示矩阵的 Frobenius 范数，
5. 其Frobenius 范数平方形式定义如下：
   $$||X||^2 = \sum_{l,j}x_{lj}^2 = \sum_j ||x_j||^2 = \sum_j x_j^T x_j = \sum_j (X^TX)_{jj} = tr[ X^T X]$$

推导过程

假设，数据集$X$ 可以分成 $k$ 个类 $C_1,...C_k$， 分别对应的类中心点是 $\mu_1,...\mu_k$；
$z_{ij}$ 是二值指示变量：若$x_j \in C_i$，则$z_{ij}=1$，否则 $z_{ij}=0$；
那么，显然可以得到：

$$\sum_i z_{ij} = 1$$

而每行总和刚好是这个类中的样本个数：

$$\sum_jz_{ij}=n_i=|C_i|$$

由于$z_{ji} \in \{0,1\}$，所以$Z$的每一列只有一个$1$，所以：

$$z_{ij}\cdot z_{i^\prime j}=1\;\;(i=i^\prime)\;\;or\;\;0\;（otherwise）$$

因此，$ZZ^T$ 是一个对角矩阵，并且：

$$(ZZ^T)_{ii^\prime}=\sum_j(Z)_{ij}(Z^T)_{ji^\prime}=\sum_j z_{ij}z_{i^\prime j}$$ $$=n_i, \;\;if\;i=i^\prime$$ $$=0,\;otherwise$$

Step 1: 将目标函数左边展开

Step 2: 将目标函数中间项展开

接下来，我们看目标函数的中间项。作为矩阵Frobenius范数的平方，它可以按如下方式写：

从之前的结论中，我们可以快速发现：$T_1=T_4 \;\;and\;\; T_2=T_5$. 所以，只要$T_3=T_6$，那么我们假设的目标函数的第一个等式就成立了。所以，现在的目标就是证明 $T_3 = T_6$.
来看一下$T_6$，可以得到：

$$tr[Z^TM^TMZ] = tr[M^TMZZ^T]$$

$$=\sum_i(M^TMZZ^T)_{ii}$$

$$=\sum_i\sum_l(M^TM)_{il}(ZZ^T)_{li}$$

$$=\sum_i(MTM)_{ii}(ZZ^T)_{ii}$$

$$=\sum_i||\mu_i||^2n_i$$

在上面的推导中，我们用到了 $ZZ^T$ 是对角阵的特性。到此，$T_3=T_6$证明完毕，因此，目标函数的第一个等式也就证明完毕了。

Step 3: 消除矩阵 $M$

现在的任务就是证明第二个等式。
回顾一下我们的目的，就是讲目标函数最小化， 因为已经证明了第一个等式，所以，其实也就是让$||X-MZ||^2$ 最小化：

$$\frac{\delta}{\delta M}||X-MZ||^2$$ $$=\frac{\delta}{\delta M}[tr[X^TX]-2tr[X^TMZ]+tr[Z^TM^TMZ]]$$ $$=2(MZZ^T-XZ^T)$$

令偏导等于0，可以得到：

$$M=XZ^T(ZZ^T)^{-1}$$

代入目标函数第二个等式，就证明完毕了。

结论

我们在上面用了一大堆令人眩晕的代数表达式，终于说明了K-Means聚类问题可以被理解成是如下的受约束的矩阵分解问题：

$$目标函数\; \sum_{i=1}^k \sum_{j=1}^n z_{ij} ||x_j-\mu_i||^2 \;\;等价于\;\;min_Z||X-XZ^T(ZZ^T)Z||^2$$

$$s.t.\;\;\;z_{ij}\in\{0,1\}$$

$$\sum_jz_{ij}=1$$