什么是拉普拉斯矩阵——拉普拉斯矩阵的来龙去脉

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：

最近在学习关于图的一些知识，这篇就记录一下拉普拉斯矩阵的来龙去脉

---

一、拉普拉斯算子？

理解图的拉普拉斯矩阵，首先要了解什么是微积分中的拉普拉斯算子
多元函数

$$f(x1,x2,x3,x4,,,,xn).$$
的拉普拉斯算子是所有自变量的非混合二阶偏导数之和
$$\Delta f=\sum _{i=1}^n\frac{{\partial }^{2}f}{\partial x_i^2}$$
例如对于三元函数 $$f(x,y,z).$$
其拉普拉斯算子为
$$\Delta f=\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}+\frac{{\partial }^{2}f}{\partial z^2}$$
很多时候我们之只能近似计算导数值，称为数值微分。如果 △x 的值接近于0，则在 x 点处的导数可以用下面的公式近似计算
$$f^{\prime }(x)\approx \frac{f(x+\Delta x)-f(x)}{\Delta x}$$
称为单侧差分公式。对于二阶导数，有
$$\begin{array}{rl}{f}^{\prime \prime }(x)& \approx \frac{f^{\prime }(x)-f^{\prime }(x-\Delta x)}{\Delta x}\approx \frac{\frac{f(x+\Delta x)-f(x)}{\Delta x}-\frac{f(x)-f(x-\Delta x)}{\Delta x}}{\Delta x}\\ & =\frac{f(x+\Delta x)+f(x-\Delta x)-2f(x)}{(\Delta x{)}^2}\end{array}$$
下面考虑多元函数的偏导数。对于二元函数 $$f(x,y).$$
其拉普拉斯算子可以用下面的公式近似计算
$$\begin{array}{rl}\Delta f& =\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}\\ & \approx \frac{f(x+\Delta x,y)+f(x-\Delta x,y)-2f(x,y)}{(\Delta x{)}^2}+\frac{f(x,y+\Delta y)+f(x,y-\Delta y)-2f(x,y)}{(\Delta y{)}^2}\end{array}$$
如果上面的二元函数进行离散化，对自变量的一系列点处的函数值进行采样，得到下面一系列点处的函数值，构成一个矩阵

在这里 x为水平方向， y为垂直方向。为了简化，假设 x 和 y 的增量即步长全为1，即
$$\Delta x=x_{i+1}-x_i=1，\Delta y=y_{i+1}-y_i=1$$

则点 $$\left(x_i,y_j\right)$$
处的拉普拉斯算子可以用下面的公式近似计算
$$\begin{array}{rl}& \frac{f\left(x_i+\Delta x,y_j\right)+f\left(x_i-\Delta x,y_j\right)-2f\left(x_i,y_j\right)}{(\Delta x{)}^2}+\frac{f\left(x_i,y_j+\Delta y\right)+f\left(x_i,y_j-\Delta y\right)-2f\left(x_i,y_j\right)}{(\Delta y{)}^2}\\ & =\frac{f\left(x_{i+1},y_j\right)+f\left(x_{i-1},y_j\right)-2f\left(x_i,y_j\right)}{1^2}+\frac{f\left(x_i,y_{j+1}\right)+f\left(x_i,y_{j-1}\right)-2f\left(x_i,y_j\right)}{1^2}\\ & =f\left(x_{i+1},y_j\right)+f\left(x_{i-1},y_j\right)+f\left(x_i,y_{j+1}\right)+f\left(x_i,y_{j-1}\right)-4f\left(x_i,y_j\right)\end{array}$$
这是一个非常优美的结果，它就是 $$\left(x_i,y_j\right)$$
的4个相邻点处的函数值之和与 $$\left(x_i,y_j\right)$$
点处的函数值乘以4后的差值。如下图所示

基于这种表示，拉普拉斯算子的计算公式可以写成

$$\begin{array}{r}\Delta x=f\left(x_{i+1},y_j\right)+f\left(x_{i-1},y_j\right)+f\left(x_i,y_{j+1}\right)+f\left(x_i,y_{j-1}\right)-4f\left(x_i,y_j\right)\\ =f\left(x_{i+1},y_j\right)-f\left(x_i,y_j\right)+f\left(x_{i-1},y_j\right)-f\left(x_i,y_j\right)+f\left(x_i,y_{j+1}\right)-f\left(x_i,y_j\right)+f\left(x_i,y_{j-1}\right)-f\left(x_i,y_j\right)\\ =\sum _{j\in N(i,j)}(f\left(x_k,y_l\right)-f\left(x_i,y_j\right))\end{array}$$
其中 $$N(i,j)$$是 $$\left(x_i,y_j\right)$$
邻居节点的集合。

二、图的邻接矩阵与加权度矩阵

图是一种几何结构，对它的研究起源于古老的哥尼斯堡七桥问题。一个图 G 由顶点和边构成，通常将顶点的集合记为 V ，边的集合记为E。边由其连接的起点和终点表示。下面是一个典型的图

图的边可以是有方向的，也可以是没有方向的，前者称为有向图，后者称为无向图。邻接矩阵是图的矩阵表示，借助它可以方便地存储图的结构，用线性代数的方法研究图的问题。如果一个图有 n个顶点，其邻接矩阵 W为n×n的矩阵，矩阵元素 Wij表示边 （i,j） 的权重。如果两个顶点之间没有边连接，则在邻接矩阵中对应的元素为0。对与上面的图，它的邻接矩阵为

无向图的邻接矩阵为对称矩阵。

对于无向图，顶点的加权度是与该顶点相关的所有边的权重之和。如果无向图的邻接矩阵为 W ，则顶点 i的加权度为邻接矩阵第 i
行元素之和
$$\Delta di=\sum _{j=1}^{n}Wij$$
加权度矩阵 D是一个对角矩阵，其主对角线元素为每个顶点的加权度，其他位置的元素为0

$$\Delta dii=di=\sum _{j=1}^{n}Wij$$
对于上面的无向图，它的加权度矩阵为

三、拉普拉斯矩阵

在前面二元函数的例子种，一个点只与上下左右4个采样点相邻。图的顶点的连接关系可以是任意的，下面将拉普拉斯算子推广到图。如果将图的顶点处的值看作是函数值，则在顶点 i 处的拉普拉斯算子为
$$\Delta f_i=\sum _{j\in N_i}\left(f_i-f_j\right)$$
其中 Ni是顶点i的所有邻居顶点的集合。这里我们调换了 fi和fj的位置，和之前的拉普拉斯算子相比，相当于多了一个负号。由于图的边可以带有权重，我们可以在上面的计算公式中加上权重
$$\Delta f_i=\sum _{j\in N_i}Wij\left(f_i-f_j\right)$$
这以推广如下图所示，图中红色的顶点是i ，蓝色的顶点是它的邻居顶点，灰色的顶点是其他顶点。

如果 j不是i 的邻居，则 Wij=0 。因此上面的式子也可以写成
$$\Delta f_i=\sum _{j\in V}Wij\left(f_i-f_j\right)=\sum _{j\in V}Wij{f}_j=d_i{f}_j-w_{i}f$$
这里的 di就是顶点 i 的加权度， 邻接矩阵的第 i 行， f是所有顶点的值构成的里列向量， wif 是二者的内积。对于图的所有顶点，有

上面的结论启发我们，可以在邻接矩阵和加权度矩阵的基础上定义拉普拉斯矩阵。假设无向图 G有 n个顶点，邻接矩阵为 W ，加权度矩阵为 D 。拉普拉斯矩阵定义为加权度矩阵与邻接矩阵之差
$$L=D-W$$
由于 W和D都是对称矩阵，因此拉普拉斯矩阵也是对称矩阵。根据前面的介绍，拉普拉斯矩阵实际代表了图的二阶导数。
以上面的图为例，它的拉普拉斯矩阵为

显然拉普拉斯矩阵每一行元素之和都为0。下面介绍拉普拉斯矩阵的若干重要性质。
1.对任意向量
$$f\in R^n$$
有
$$f^{T}Lf=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^{n}Wij(f_i-f_j{)}^2$$
2.拉普拉斯矩阵是对称半正定矩阵；
3.拉普拉斯矩阵的最小特征值为0，其对应的特征向量为常向量 1 ，即所有分量为1；
4.拉普拉斯矩阵有 n 个非负实数特征值，并且满足
$$0={\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$$
下面进行证明。根据加权度 di 的定义，有$$\begin{array}{r}{f}^{T}Lf=f^{T}Df-f^{T}Wf\\ =\sum _{i=1}^n{d}_i{f}_i^2-\sum _{i=1}^n\sum _{j=1}^n{f}_i{f}_{j}Wij\\ =\frac{1}{2}(2\sum _{i=1}^n{d}_i{f}_i^2-2\sum _{i=1}^n\sum _{j=1}^n{f}_i{f}_{j}Wij)\\ =\frac{1}{2}(\sum _{i=1}^n{d}_i{f}_i^2-2\sum _{i=1}^n\sum _{j=1}^n{f}_i{f}_{j}Wij+\sum _{i=1}^n{d}_i{f}_i^2)\\ =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{f}_i^2-2\sum _{i=1}^n\sum _{j=1}^n{f}_i{f}_{j}Wij+\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{f}_i^2)\\ =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^{n}Wij(f_i-f_j{)}^2\end{array}$$
因此结论（1）成立。根据结论（1），对任意非0向量 f ，有
$$f^{T}Lf=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^{n}Wij(f_i-f_j{)}^2\ge 0$$
因此拉普拉斯矩阵是半正定的，结论2成立。由于

将行列式的第2~n列依次加到第1列，第1列的值全为0

因此行列式丨L 丨值为0，0是 L 的特征值。如果 f=1 ，则有

因此 1是特征值0的特征向量，由于拉普拉斯矩阵半正定，其特征值非负，结论（3）成立。根据结论（2）和（3）可以得到结论（4）。

假设G 是一个有非负权重的无向图，其拉普拉斯矩阵 L 的特征值0的重数 k 等于图的联通分量的个数

$$A_1,...,A_k$$
特征值0的特征空间由这些联通分量所对应的特征向量
$$1_{A_1},...,1_{A_k}$$
所张成。
下面进行证明。先考虑 k=1 的情况，图是联通的。假设 f是特征值0的一个特征向量，根据特征值的定义有
$$0=f^{T}Lf=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^{n}Wij(f_i-f_j{)}^2$$
这是因为 Lf=0f=0 。因为图是联通的，因此所有的 Wij>0 ，要让上面的值为0，必定有 fi-fj=0。这意味着向量 f的任意元素都相等，因此所有特征向量都是 1 的倍数，结论成立。

接下来考虑有 k个联通分量的情况。不失一般性，假设顶点按照其所属的联通分量排序，这种情况下，邻接矩阵是分块矩阵，同样地，拉普拉斯矩阵也是这样的分块矩阵

显然每个子矩阵Li 自身也是一个拉普拉斯矩阵，对应于这个联通分量。对于这些子矩阵，上面的结论也是成立的，因此 L 的谱由 Li
的谱相并构成， L 的特征值0对应的特征向量是 Li 的特征向量将其余位置填充0扩充形成的。具体的，特征向量中第i 个联通分量的顶点所对应的分量为1，其余的全为0，为如下形式

由于每个 Li 都是一个联通分量的拉普拉斯矩阵，因此其特征向量的重数为1，对应于特征值0。而 L中与之对应的特征向量在第 i个联通分量处的值为常数，其他位置为0。因此矩阵 L 的0特征值对应的线性无关的特征向量的个数与联通分量的个数相等，并且特征向量是这些联通分量的指示向量。]
下面举例说明。对于下面的图

它有两个联通子图。其邻接矩阵为

其加权度矩阵为

拉普拉斯矩阵为

它由如下两个子矩阵构成

每个子矩阵对应于图的一个联通分量。0是每个子矩阵的1重特征值，由于有两个联通分量，因此0是整个图的拉普拉斯矩阵的2重特征值。两个线性无关的特征向量为

四、归一化拉普拉斯矩阵

对前面定义的拉普拉斯矩阵进行归一化从而得到归一化的拉普拉斯矩阵。通常有两种形式的归一化。

第一种称为对称归一化，定义为

在这里 $$D^{\frac{-1}{2}}$$
是 D 的所有元素计算正平方根得到的矩阵。位置 (i,j),i≠j的元素为将未归一化拉普拉斯矩阵对应位置处的元素 lij
除以

后形成的，主对角线上的元素为1，


第二种称为随机漫步归一化，定义为



下面介绍这两种矩阵的若干重要性质。
1.对任意向量$$f\in R^n$$
有



引用参考来自知乎文章理解图的拉普拉斯矩阵