瑞利熵与拉普拉斯矩阵

瑞利熵

瑞利熵

$$R(M,x)=\frac{x^*Mx}{x^*x}$$

  此处的$x$是一个向量，矩阵$M$是一个Hermitian矩阵，即该矩阵共轭对称，$M_{ij}=M_{ji}^*$，如果$M$是一个实矩阵，则有$M^T=M$。

  瑞利熵的特点是：最大值和最小值分别等于矩阵$M$最大和最小的特征值。

$$\lambda_{min}\leqslant \frac{x^*Mx}{x^*x} \leqslant \lambda_{max}$$

可以用拉格朗日乘子法证明：

$$\matrix{ & \max{R(M,x)}=\max{x^* Mx}\\s.t. & x^* x=c}$$

$$J(x)=x^*Mx-\lambda(x^*x-c)\\ \frac{\partial J(x)}{\partial x}=0\rightarrow Mx=\lambda x\\ R(M,x)=\lambda$$

从上面的证明可以看出：

1. $R(M,x)=\lambda$，瑞利熵的值就是M的特征值，最值一致
2. $x$的解正是$R(M,x)$所对应的关于$M$的特征向量

广义瑞利熵

$$R(M,N,x)=\frac{x^*Mx}{x^*Nx}$$

令$y=N^{-1/2}x$

$$x^*Mx=y^*(N^{-1/2})^*MN^{-1/2}y\\x^*Nx=y^*(N^{-1/2})^*NN^{-1/2}y=y^*y$$

$$R(M,N,y)=\frac{y^*N^{-1/2}MN^{-1/2}y}{y^*y}$$

根据瑞利熵的性质，$R(M,N,y)$实际上是矩阵$N^{-1/2}MN^{-1/2}$的特征值

拉普拉斯矩阵

定义

  上面这个图 $G=<V,E>$可以定义两个矩阵：度矩阵$D$（Degree）和邻接矩阵$A$（Adjacent）

$$D=\left ( \matrix{4&0&0&0&0\\ 0&2&0&0&0\\ 0&0&3&0&0\\ 0&0&0&3&0\\ 0&0&0&0&2}\right)$$

$$A=\left ( \matrix{0&1&1&1&1\\ 1&0&1&0&0\\ 1&1&0&1&0\\1&0&1&0&1\\ 1&0&0&1&0}\right)$$

  拉普拉斯矩阵的定义是：$L = D-A$

$$D-A =\left ( \matrix{4&-1&-1&-1&-1\\ -1&2&-1&0&0\\ -1&-1&3&-1&0\\-1&0&-1&3&-1\\ -1&0&0&-1&2}\right)$$

性质

  令函数 $f(v_i)$ 表示结点 $v_i$ 的函数

$$f^*Lf=f^*Df-f^*Af\\ =\sum_i f^2(v_i)d_i-\sum_i\sum_jA_{ij}f(v_i)f(v_j)\\ =\frac{1}{2}\left ( \sum_i f^2(v_i)d_i-2\sum_i\sum_jA_{ij}f(v_i)f(v_j) + \sum_j f^2(v_j)d_j\right )\\ =\frac{1}{2}\sum_i\sum_jA_{ij}\left (f_i-f_j\right )^2$$

  这是一个欧氏距离加权求和的形式，特殊的让$A_ij=1$，则它就是所有点两两之间的距离之和。所以拉普拉斯矩阵是关于图中的点的一种基于欧氏距离的测度。
  另外，显然拉普拉斯矩阵是半正定的，所有特征值都非负。所谓半正定矩阵，即对任意非零向量$x$都有$x^*Lx\geqslant 0$，看上面的式子显然成立。
  那么拉普拉斯矩阵与瑞利熵有什么关系呢？简而言之，上面这个式子的计算，不需要遍历所有点之间的配对，根据瑞利熵的性质，可以简化为求拉普拉斯矩阵关于特征向量 f f <script type="math/tex" id="MathJax-Element-68">f</script> 的特征值，所以是一个特征值分解的过程，而矩阵分解又可以使用梯度下降实现，进一步简化。

---

参考文献

【Wiki】半正定矩阵
【博客】线性判别分析LDA原理总结
【博客】拉普拉斯矩阵（Laplace Matrix）与瑞利熵（Rayleigh quotient）
【Wiki】Rayleigh quotient