拉普拉斯矩阵特征向量的几个关键性质证明

前言

在读kipf-GCN《Semi-Supervised Classification With Graph Convolutional Networks》的过程中，提到标准化的拉普拉斯矩阵的最大特征值约等于2：${\lambda }_{max}\approx 2$，所有的特征值范围在区间 $[0,2]$ 之间，遂搜索一些资料进行验证，写下此文。

本文部分内容参考了经典书籍的修正及改进版本《Spectral Graph Theory (revised and improved)》，值得一读。

拉普拉斯矩阵

公式

Laplacian矩阵是图的矩阵表示，无向图的Laplacian矩阵：$L=D-A$，其中 $D$ 为度矩阵，$A$ 为邻接矩阵。

性质

可见，Laplacian矩阵是 $n$ 阶实对称矩阵。实对称矩阵具有如下性质：

• 实对称矩阵的特征值都是实数，有 $n$ 个线性独立的特征向量，且特征向量都是实向量；
• 实对称矩阵的不同特征值对应的特征向量是正交的；
• $n$ 阶实对称矩阵必可对角化，且相似对角矩阵上的元素就是它的特征值

证明

性质1：$L$ 的特征向量正交

实对称矩阵不同特征值的特征向量正交。

取 $L$的 任意两个不相等的特征值 ${\lambda }_1,{\lambda }_2$，它们对应的单位特征向量为 $p_1,p_2\in {\mathbb{R}}^n$，有：
$$\begin{array}{rl}& L{p}_1={\lambda }_1{p}_1\\ & L{p}_2={\lambda }_2{p}_2\end{array}$$ $\because$
$$\begin{array}{rl}{p_1}^{T}L{p}_2& ={p_1}^T{L}^T{p}_2\\ & ={(L{p}_1)}^T{p}_2\\ & ={({\lambda }_1{p}_1)}^T{p}_2\\ & ={\lambda }_1{p_1}^T{p}_2(1)\end{array}$$ 又 $\because$
$${p_1}^{T}L{p}_2={p_1}^T(L{p}_2)={p_1}^T{\lambda }_2{p}_2={\lambda }_2{p_1}^T{p}_2(2)$$ $(1)-(2)$可得：
$$({\lambda }_1-{\lambda }_2){p_1}^T{p}_2$$ $\because {\lambda }_1\ne {\lambda }_2$

$\therefore {p_1}^T{p}_2=0$，即 $p_1$ 与 $p_2$ 正交。

$■$

性质2：$L$ 的特征向量组成的矩阵$P$是正交矩阵，有$P^{-1}=P^T$

因为 $P=\left[\begin{array}{c}{p}_1,p_2,\dots ,p_n\end{array}\right]\in {\mathbb{R}}^{n\times n}$ 的每个向量都是正交，所以有：
$$P^{T}P=\left[\begin{array}{cccc}{p}_1^T{p}_1& p_1^T{p}_2& \cdots & p_1^T{p}_n\\ p_2^T{p}_1& p_2^T{p}_2& \cdots & p_2^T{p}_n\\ ⋮& ⋮& & ⋮\\ p_n^T{p}_1& p_n^T{p}_2& \cdots & p_n^T{p}_n\end{array}\right]=\left[\begin{array}{cccc}1& & & \\ & 1& & \\ & & \ddots & \\ & & & 1\end{array}\right]=E$$ 所以有
$$P^{-1}=P^T$$ $■$

代码验证

对于 前言 中的拉普拉斯矩阵，我们通过代码验证它性质2(性质2包括了性质1)。

• 创建拉普拉斯矩阵并求特征向量

import numpy as np
# 创建拉普拉斯矩阵
L = np.array([
  [ 2, -1,  0,  0, -1,  0],
  [-1,  3, -1,  0, -1,  0],
  [ 0, -1,  2, -1,  0,  0],
  [ 0,  0, -1,  3, -1, -1],
  [-1, -1,  0, -1,  3,  0],
  [ 0,  0,  0, -1,  0,  1],
])
# 求特征值和特征向量(vecs_ori是标准化特征向量组成的矩阵)
vals_ori,vecs_ori = np.linalg.eig(L)

• 查看特征值和特征向量

# 保留小数点后3位数便于查看
print(vals_ori.round(3))
"""
[-0.     0.722  1.683  3.     3.705  4.891]
"""
print(vecs_ori.round(3))
"""
[[-0.408 -0.415 -0.505  0.289 -0.567 -0.032]
 [-0.408 -0.309  0.04   0.289  0.658 -0.469]
 [-0.408 -0.069  0.759  0.289 -0.205  0.356]
 [-0.408  0.221  0.201 -0.577 -0.308 -0.562]
 [-0.408 -0.221 -0.201 -0.577  0.308  0.562]
 [-0.408  0.794 -0.294  0.289  0.114  0.144]]
"""

• 验证性质2

print(np.matmul(vecs_ori.T, vecs_ori).round(3))
"""
[[ 1.  0.  0.  0. -0.  0.]
 [ 0.  1. -0. -0. -0.  0.]
 [ 0. -0.  1.  0. -0. -0.]
 [ 0. -0.  0.  1. -0. -0.]
 [-0. -0. -0. -0.  1.  0.]
 [ 0.  0. -0. -0.  0.  1.]]
"""

标准化的拉普拉斯矩阵

公式

在《关于谱图理论-图傅里叶变换-谱卷积等谱图领域知识的理解》的Laplacian矩阵一节中，说了拉普拉斯矩阵的三个主要定义，一种是原始版的 $L=D-A$ ，还有一个叫做 “对称标准化Laplacian矩阵”：
$$L^{sym}=(D^{+}{)}^{\frac{1}{2}}L(D^{+}{)}^{\frac{1}{2}}=I-(D^{+}{)}^{\frac{1}{2}}A(D^{+}{)}^{\frac{1}{2}}$$ 其中，$D^{+}$是 穆尔-彭罗斯逆（M-P逆）。

还有一种标准化拉普拉斯的写法为：$L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$，两者是等价的。因为$D$是满秩矩阵，$D$ 的M-P逆 $D^{+}$ 就是 $D$ 的常规逆，即 $D^{+}=D^{-}$。

下文将对 $L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$ 进行介绍。

性质

性质	拉普拉斯矩阵$L$	标准化拉普拉斯矩阵$L^{norm}$
对称性	$\surd$	$\surd$
半正定	$\surd$	$?$

证明

性质1: 对称性(symmetric)

证明：

邻接矩阵 $A$ 为对称矩阵，度矩阵 $D$ 为对角矩阵，很明显拉普拉斯矩阵 $L=D-A$ 是对称矩阵。

令 $D^{-\frac{1}{2}}=\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\end{array}\right]$，$L=\left[\begin{array}{cccc}{l}_{11}& l_{12}& \cdots & l_{1n}\\ l_{21}& l_{22}& \cdots & l_{2n}\\ ⋮& ⋮& & ⋮\\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right]$，则：
$$\begin{array}{rl}{L}^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}& =\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & dn\end{array}\right]\left[\begin{array}{cccc}{l}_{11}& l_{12}& \cdots & l_{1n}\\ l_{21}& l_{22}& \cdots & l_{2n}\\ ⋮& ⋮& & ⋮\\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right]\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & dn\end{array}\right]\\ & =\left[\begin{array}{cccc}{l}_{11}{d}_1& l_{12}{d}_1& \cdots & l_{1n}{d}_1\\ l_{21}{d}_2& l_{22}{d}_2& \cdots & l_{2n}{d}_2\\ ⋮& ⋮& & ⋮\\ l_{n1}{d}_n& l_{n2}{d}_n& \cdots & l_{nn}{d}_n\end{array}\right]\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & dn\end{array}\right]\\ & =\left[\begin{array}{cccc}{l}_{11}{d}_1{d}_1& l_{12}{d}_1{d}_2& \cdots & l_{1n}{d}_1{d}_n\\ l_{21}{d}_2{d}_1& l_{22}{d}_2{d}_2& \cdots & l_{2n}{d}_2{d}_n\\ ⋮& ⋮& & ⋮\\ l_{n1}{d}_n{d}_1& l_{n2}{d}_n{d}_2& \cdots & l_{nn}{d}_n{d}_n\end{array}\right]\end{array}$$，可见 $L_{ij}^{norm}=l_{ij}{d}_i{d}_j$，$\because$ L是对称矩阵，$l_{ij}=l_{ji}$，$\therefore L^{norm}$ 是对称矩阵。

$\square$

性质2: 半正定(positive-semidefinite)

即 $L^{norm}$ 的所有特征值均为非负（${\lambda }_i\ge 0$ for all $i$）。

证明：

$L$ 是对称且为对角优势矩阵，所以 $L$ 是半正定矩阵。参见wiki百科-iagonally dominant matrix
$\square$

性质3: 特征值范围介于0和2之间

相比于 $L=D-A$ ， $L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$ 一开始看起来有点复杂，但 $L^{norm}$ 的的特征值与一般图的其他图不变量有很好的联系，这是其他定义经常无法做到的。这个定义的优点是因为它与谱几何和随机过程中的特征值一致。它的许多性质可以推广到所有的图。

谱理论（Spectral Theory）的一半主要问题在于推导特征值分布的边界。另一半涉及特征值边界的影响和后果以及它们的应用。

其特征值的一个重要结论是：任何图的标准化拉普拉斯矩阵的特征值范围介于0和2之间。

证明请见：标准化拉普拉斯矩阵特征值范围为什么小于等于2?（证明）

代码验证

import numpy as np

def gen_adj(n):
    """创建邻接矩阵"""
    while True:
        A = np.zeros(shape=(n,n))
        for i in range(1,n):
            for j in range(i):
                rand = np.random.rand(1)[0]
                A[i][j]=1 if rand>0.4 else 0
        for i in range(n-1):
            for j in range(i+1,n):
                A[i][j]=A[j][i]
        # 防止孤立的顶点
        if A.sum(0).min()!=0:
            break
    return A

def get_eigval(argL):
    # 求矩阵特征值
    vals_ori,vecs_ori = np.linalg.eig(argL)
    return vals_ori.round(3)


def verify(n):
    """验证特征值范围"""
    A = gen_adj(n)
    D = np.diag(A.sum(0))
    D_norm = np.diag(np.power(A.sum(0), -1/2))

    L = D-A
    L_norm = np.matmul(np.matmul(D_norm,L),D_norm)
    
    res1 = get_eigval(L)
    res2 = get_eigval(L_norm)
    return res1,res2

if __name__=="__main__":
    ## 如果不抛出AssertionError, 则测试通过
    for i in range(1000):
        assert (verify(10)[1]).max()<2

$■$