GNN图上的谱方法的一些重要结论及其证明

前言

初稿先记一些重要的基本结论。

• 因为结论的重要性比较主观，对lemma,theorem,proposition的区分可能比较随意，按笔者兴趣来。
• 本文默认G为无向图。节点数N，顶点集V，边集E这些常见notation就不必多写了吧。

一、Basic Laplacian

1.1 Laplacian矩阵定义回顾

不加自边(self-edge)增强的时候，L=D-A。

$$L(i,j)=\{\begin{array}{ll}degree(i)& \text{ if }i=j\\ -1& \text{ if }(i,j)\in E\\ 0& \text{ otherwise }\end{array}$$
其中degree(i)表示结点i的度数。

如果对其normalize，
得到$L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$
$$L^{norm}(i,j)=\{\begin{array}{ll}1& \text{ if }i=j\text{ and }{d}_j\ne 0\\ -\frac{1}{\sqrt{d_i{d}_j}}& \text{ if }(i,j)\in E\\ 0& \text{ otherwise }\end{array}$$

注意到继续扩展，可以写成如下形式
$$\begin{gathered} L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}=D^{-\frac{1}{2}}(D-A)D^{-\frac{1}{2}} \\ =I_n-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}} \end{gathered}$$

1.2 左乘L的效果与L的半正定性质

Proposition 1.2.1

向量左乘Laplacian矩阵后的第$i$个分量等价于每个与$i$相连的$j$对应的分量作减法$v(i)-v(j)$后求和

上面这个说法太抽象了，建议直接看证明。

证明：

设 $v\in {\mathbb{R}}^N$, $L\in {\mathbb{R}}^{N\times N}$，
记 $w=Lv$，$w\in {\mathbb{R}}^N$，
则 $w$在第i个坐标上的分量$w(i)$满足
$$\begin{gathered} w(i)=degree(i)v(i)-{\sum }_{j:(i,j)\in E}v(j) \\ ={\sum }_{j:(i,j)\in E}v(i)-{\sum }_{j:(i,j)\in E}v(j) \\ ={\sum }_{j:(i,j)\in E}(v(i)-v(j)) \end{gathered}$$

直观感受就是，对每一个与i相邻的结点j，取v(i)与v(j)做减法，最后加总。

有了上述命题，我们可以进一步地观察标量$v^{T}Lv$

Proposition 1.2.2

L是半正定矩阵。

证明：

$\begin{array}{rl}{v}^{T}Lv& =v^{T}w\\ & =\sum _{i}v(i)w(i)\\ & =\sum _i[v(i)\sum _{j:(i,j)\in E}(v(i)-v(j))]\\ & =\sum _i\sum _{j:(i,j)\in E}v(i)(v(i)-v(j))\\ & =\sum _{(i,j)\in E}v(i)(v(i)-v(j))\\ & (神奇的变形，怎么想到的)\\ & =\sum _{i<j:(i,j)\in E}v(i)(v(i)-v(j))+v(j)(v(j)-v(i))\\ & =\sum _{i<j:(i,j)\in E}(v(i)-v(j){)}^2\end{array}$

对每个结点i，找标号大于它的有连边的结点j，取v的i,j两个分量作差后求平方和，再加总。

从上式最后的平方和可以看到，对任意$v$，$v^{T}Lv\ge 0$，
所以L矩阵是半正定的。之后就能推所有特征值$\lambda \ge 0$。 （后面可以进一步证明特征值上确界为2)

PS:上述证明中隐含了一个额外的结论。

任意向量取$v^{T}Lv$等价于求${\sum }_{i,j\in E}(v(i)-v(j){)}^2$

上述结论可以扩展到矩阵形式。

任意矩阵$Z\in R^{n\times n}$，
设其$i$行为$Z_i\in R^{1\times n}$，$j$列为$z_j\in R^{n\times 1}$
取$tr(Z^{T}LZ)$
$={\sum }_{i,j\in E}||Z_i-Z_j|{|}^2$
$={\sum }_{i,j\in E}||z_i-z_j|{|}^2$

1.3 L的固有特征值0

Theorem 1.3.1
L具备固有特征值0与对应的固有特征向量

证明：
构造 $v\in {\mathbb{R}}^N$,$v=(\frac{1}{\sqrt{N}},\frac{1}{\sqrt{N}},...,\frac{1}{\sqrt{N}})$，
显然$||v||=1$。
根据命题1.2.1
令$w=Lv$，而$w(i)={\sum }_{j:(i,j)\in E}(v(i)-v(j))$
由于v在每个坐标上分量都一致，$v(i)-v(j)\equiv 0$
进而$w(i)\equiv 0$,
$w=0$为零向量。
于是 $w=Lv=0=0\cdot v$
因此，0是L的特征值，
$v=(\frac{1}{\sqrt{N}},\frac{1}{\sqrt{N}},...,\frac{1}{\sqrt{N}})$是特征值0对应的特征向量。
别忘了这个v的模长还是1。
证毕。

1.4 L的特征值0的重数

Theorem 1.4.1

L的特征值0的重数(multiplicity of the zero eigenvalue)恰等于图G上连通子图的个数(the number of connected components of the graph G)。

证明：

不妨设图G有K个连通子图，
于是可以将顶点集V拆分成K个子集$V_1,V_2,...,V_K$,
同理将边集E也拆成$E_1,E_2,...,E_K$,
我们以$|V_i|$表示第i个子集$V_i$中的结点数量。
对每个子集$V_i$，构造向量$v_i$，使之满足$v_i(j)=\frac{1}{\sqrt{|V_i|}}\text{ if }(i,j)\in E_i\text{ else }0$，
即将有连边的那些j对应的分量填上数值，其他分量置0。
$(...,\frac{1}{\sqrt{|V_i|}},...,\frac{1}{\sqrt{|V_i|}},...,0,...)$
显然$||v_i||=1$。
于是活用命题1.2.1 【$w(i)={\sum }_{j:(i,j)\in E}(v(i)-v(j))$】
由于我们构造的$v_i$满足每个相连的$i,j$，$v(i)-v(j)=0$。
因此左乘L后每个分量都是0。
因此$L{v}_i=0=0v_i$
因此$v_i$是L对应特征值0的特征向量。
又，对于$i\ne j$，由于子集$V_i,V_j$是互斥的，必有$<v_i,v_j>=0$。
可知我们构造的$v_1,v_2,...,v_K$两两正交，且模长均为1。
这就是一组很好的标准正交基了。
所以L对应特征值0的特征空间至少有K维，即特征值0的重数至少是K。

休息一下

下面来证明，重数的上界也是K。
即证明，不可能找到第$K+1$个$v_{K+1}$。
我们知道，特征值0对应的特征向量$v$必然要满足$Lv=0$。
由命题1.2.1 【$w(i)={\sum }_{j:(i,j)\in E}(v(i)-v(j))$】,
可知$v$必须满足：
$\text{if }(i,j)\in E,\text{ then }v(i)=v(j)=a,\text{ or }v(i)=v(j)=0$。$(a\ne 0)$
而所有可能的坐标对$(i,j)$都已经被拆到$E_1,...,E_K$上去了。
不妨这样想象，一开始$v$是全部坐标分量为0的。
我们一旦从边集$E$中提取任意的$(i,j)$，将$v$的这两个坐标上的分量置为非零值$a$。
由于这对$(i,j)$必然存在于某个子边集$E_p$中，
因此必存在一个刚才构造出来的向量$v_p$满足：
$v_p(i)=v_p(j)=\frac{1}{\sqrt{|V_p|}}\ne 0$。
因此$<v,v_p>\ne 0$，即$v$必然不能与$v_p$正交。
因此无论怎么取$(i,j)$都找不到一个与$v_1,v_2,...,v_K$全部正交的$v$。
即找不到第$K+1$个$v_{K+1}$。
因此特征值0的重数上界也是K。

综上

L的特征值0的重数恰为连通子图的数量K。
证毕。

PS：

上文只证明了unnormalized L的特征值0重数为K。
关于normalized L，
或者加了自边的augmented normalized L，
其特征值0的重数也是K。
留给读者自证。（因为我不会）

1.5 L的最大与最小特征值

本节仅提供分析。

根据定理1.2.2的证明过程，有
$v^{T}Lv={\sum }_{i<j:(i,j)\in E}(v(i)-v(j){)}^2$
特别地，当v为L的特征向量时
$v^{T}Lv=v^T\lambda v=\lambda ||v|{|}^2={\sum }_{i<j:(i,j)\in E}(v(i)-v(j){)}^2$
现在我们仅考虑所有特征向量中，模长为1的那些单位特征向量。
即加上约束$||v||=1$，
得到$\lambda ||v|{|}^2=\lambda ={\sum }_{i<j:(i,j)\in E}(v(i)-v(j){)}^2$
等式右侧的连加表达式可以大致理解为“方差”的变种，衡量了这个特征向量$v$在每个分量上的值“差异”有多大。
所以我们可以说，越小的特征值$\lambda$对应的特征向量，其在每个分量上的“差异”越小。
这对应了定理1.3.1，最小的特征值$\lambda =0$对应的特征向量在每个分量上完全相等。
所以我们可以想象，次小的特征值对应的特征向量应该是不同分量上的差异第二小的。第三小的特征值对应的特征向量在不同分量上的差异是第三小的。
类似的，最大的$\lambda$对应的特征向量$v$，就是在不同分量上的差异最大的。

1.6 $L^{norm}$的特征值范围

这一节快点过,跟前面很类似。
1.6.1

$L^{norm}$也满足半正定性，即特征值非负。

证明

$\begin{array}{rl}{x}^T{L}^{norm}x& =x^T(I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x\\ & =\sum _{i\in V}x(i{)}^2-\sum _{(i,j)\in E}\frac{2x(i)x(j)}{\sqrt{d(i)d(j)}}\\ & =\sum _{(i,j)\in E}{\left(\frac{x(i)}{\sqrt{d(i)}}-\frac{x(j)}{\sqrt{d(j)}}\right)}^2\\ & \ge 0.\end{array}$
这个证明的第二步可能不是很显然。

1.6.2

$L^{norm}$也具备固有特征值0，对应0特征值的特征向量$D^{\frac{1}{2}}v$，其中$v$是$L$对应特征值0的特征向量,$v=(\frac{1}{\sqrt{N}},\frac{1}{\sqrt{N}},...,\frac{1}{\sqrt{N}})$。
于是有${\lambda }_{min}=0$。

1.6.3

$L^{norm}$的${\lambda }_{max}\le 2$。

证明

先考虑一个lemma，即$I_n+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$同样具有半正定性质。
$x^T(I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x={\sum }_{i\in V}x(i{)}^2+{\sum }_{(i,j)\in E}\frac{2x(i)x(j)}{\sqrt{d(i)d(j)}}={\sum }_{(i,j)\in E}{\left(\frac{x(i)}{\sqrt{d(i)}}+\frac{x(j)}{\sqrt{d(j)}}\right)}^2\ge 0$
于是
$$\begin{gathered} x^T(I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x \\ =x^{T}x+x^T{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\ge 0 \end{gathered}$$
于是
$-x^T{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\le x^{T}x$
$x^{T}x-x^T{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\le 2x^{T}x$
$x^T(I_n-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x\le 2x^{T}x$
x为非零向量时成立
$\frac{x^T(I_n-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x}{x^{T}x}\le 2$
即
$\frac{x^T{L}^{norm}x}{x^{T}x}\le 2$
运用Rayleigh quotient的结论就能得到，
$L^{nrom}$的最大特征值${\lambda }_{max}\le 2$。
当且仅当原始图是二分图时，等号成立。
可以参考笔记《Rayleigh-Ritz theorem》

综合上面可以知道

$L^{norm}$的特征值范围是[0,2]。当且仅当是二分图时，${\lambda }_{\max }=2$成立。

2.Augmented Normalized Laplacian

2.1 定义

所谓augmented，就是对邻接矩阵加自边(self-edge or self-loop)。
$\tilde{A}=A+I_n$
于是度数矩阵也相应变化（每个结点增加1）
$\tilde{D}=D+I_n$
于是augmented normalized Laplacian
${\tilde{\Delta }}_{sym}=I_n-{\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$

为了简洁起见，若非必要，本文后面省略脚标$sym$。

上式可以进一步拆解为
${\tilde{\Delta }}_{sym}={\tilde{D}}^{-\frac{1}{2}}(\tilde{D}-\tilde{A}）{\tilde{D}}^{-\frac{1}{2}}={\tilde{D}}^{-\frac{1}{2}}(D-A）{\tilde{D}}^{-\frac{1}{2}}={\tilde{D}}^{-\frac{1}{2}}L{\tilde{D}}^{-\frac{1}{2}}$
所以你会发现${\tilde{\Delta }}_{sym}$跟$L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$相比，区别只是换了个更大的分母来归一。

$${\tilde{\Delta }}_{sym}(i,j)=\{\begin{array}{ll}\frac{d_i}{d_i+1}& \text{ if }i=j\text{ and }{d}_j\ne 0\\ -\frac{1}{\sqrt{(d_i+1)(d_j+1)}}& \text{ if }(i,j)\in E\\ 0& \text{ otherwise }\end{array}$$

2.2 $\tilde{\Delta }$的半正定性

Theorem 2.2.1
$\tilde{\Delta }$半正定。

证明：

约定${\tilde{a}}_{ij}$表示$\tilde{A}$的i行j列元素。
$x=(x_1,x_2,...,x_N)\in {\mathbb{R}}^N,x_i$表示x的第i个分量。
$d_i=degree(i)$,
加上自边后每个结点度数加1，所以${\tilde{d}}_i=d_i+1$ 。

于是有

$\begin{array}{l}{x}^T{\tilde{\Delta }}_{\mathrm{s}\mathrm{y}\mathrm{m}}x={\sum }_i{x}_i^2-{\sum }_i{\sum }_j\frac{{\tilde{a}}_{ij}}{\sqrt{\left(d_i+1\right)\left(d_j+1\right)}}{x}_i{x}_j\\ =\frac{1}{2}\left({\sum }_i{x}_i^2+{\sum }_j{x}_j^2-{\sum }_i{\sum }_j\frac{2{\tilde{a}}_{ij}{x}_i{x}_j}{\sqrt{\left(d_i+1\right)\left(d_j+1\right)}}\right)\\ =\frac{1}{2}({\sum }_i{\sum }_j\frac{{\tilde{a}}_{ij}{x}_i^2}{d_i+1}+{\sum }_j{\sum }_i\frac{{\tilde{a}}_{ij}{x}_j^2}{d_j+1}\\ -{\sum }_i{\sum }_j\frac{2{\tilde{a}}_{ij}{x}_i{x}_j}{\sqrt{\left(d_i+1\right)\left(d_j+1\right)}})\\ =\frac{1}{2}{\sum }_i{\sum }_j{\tilde{a}}_{ij}{\left(\frac{x_i}{\sqrt{d_i+1}}-\frac{x_j}{\sqrt{d_j+1}}\right)}^2\ge 0\end{array}$
证毕。

2.3 $\tilde{\Delta }$的固有特征值与特征向量

Theorem 2.3.1
$\tilde{\Delta }$具备固有特征值0与对应特征向量。

证明：

在Section1已经证明了 $v=(1,1,...,1{)}^T$是 $\Delta$对应特征值0的特征向量。（每个分量上完全相等）
即$\Delta v=0\cdot v=0$

令$\tilde{v}={\tilde{D}}^{\frac{1}{2}}v$
则有

$$\begin{gathered} \tilde{D}\tilde{v}=[I_n-{\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}]{\tilde{D}}^{\frac{1}{2}}v \\ =[{\tilde{D}}^{-\frac{1}{2}}（\tilde{D}-\tilde{A}){\tilde{D}}^{-\frac{1}{2}}]{\tilde{D}}^{\frac{1}{2}}v \\ ={\tilde{D}}^{-\frac{1}{2}}\Delta v={\tilde{D}}^{-\frac{1}{2}}0\cdot v=0 \\ =0\cdot \tilde{v} \end{gathered}$$
因此0是固有特征值，且$\tilde{v}={\tilde{D}}^{\frac{1}{2}}v$是对应特征值0的特征向量。

2.4 $\tilde{\Delta }$的最大特征值上界

将$\Delta$特征值的升序排列记为 ${\lambda }_1,{\lambda }_2,...,{\lambda }_N$。
将$\tilde{\Delta }$特征值的升序排列记为 ${\tilde{\lambda }}_1,{\tilde{\lambda }}_2,...,{\tilde{\lambda }}_N$。

Theorem 2.4.1
$\tilde{\Delta }$的最大特征值严格小于$\Delta$的最大特征值，即${\tilde{\lambda }}_N<{\lambda }_N$。

证明：
设$\tilde{v}$是$\tilde{\Delta }$的特征向量，且满足$||\tilde{v}||=1$。
则${\tilde{v}}^T\tilde{\Delta }\tilde{v}=\tilde{\lambda }||\tilde{v}|{|}^2=\tilde{\lambda }$

所以最大特征值就是对上式求max。

λ ~ N = max ⁡ ∣ ∣ v ~ ∣ ∣ = 1 v ~ T Δ ~ v ~ = max ⁡ ∣ ∣ v ~ ∣ ∣ = 1 v ~ T ( I n − D ~ − 1 2 A ~ D ~ − 1 2 ) v ~ = max ⁡ ∣ ∣ v ~ ∣ ∣ = 1 v ~ T [ I n − D ~ − 1 2 ( I n + A ) D ~ − 1 2 ] v ~ = max ⁡ ∣ ∣ v ~ ∣ ∣ = 1 { ∣ ∣ v ~ ∣ ∣ 2 − v ~ T D ~ − 1 v ~ − v ~ T D ~ − 1 2 A D ~ − 1 2 v ~ } = 1 − min ⁡ ∣ ∣ v ~ ∣ ∣ = 1 { v ~ T D ~ − 1 v ~ + v ~ T D ~ − 1 2 A D ~ − 1 2 v ~ } = 1 − min ⁡ ∣ ∣ v ~ ∣ ∣ = 1 { ∑ i v ~ ( i ) 2 1 + d i + v ~ T D ~ − 1 2 A D ~ − 1 2 v ~ } \tilde{\lambda}_N=\max_{||\tilde{v}||=1}\tilde{v}^T\tilde{\Delta}\tilde{v} \\ =\max_{||\tilde{v}||=1}\tilde{v}^T(I_n -\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}})\tilde{v} \\ =\max_{||\tilde{v}||=1}\tilde{v}^T[I_n -\tilde{D}^{-\frac{1}{2}} (I_{n}+A) \tilde{D}^{-\frac{1}{2}}] \tilde{v}\\ =\max_{||\tilde{v}||=1} \{ ||\tilde{v}||^2-\tilde{v}^{T}\tilde{D}^{-1}\tilde{v} - \tilde{v}^T \tilde{D}^{-\frac{1}{2}}A\tilde{D}^{-\frac{1}{2}} \tilde{v} \} \\ =1-\min_{||\tilde{v}||=1}\{ \tilde{v}^{T}\tilde{D}^{-1}\tilde{v} + \tilde{v}^T \tilde{D}^{-\frac{1}{2}}A\tilde{D}^{-\frac{1}{2}} \tilde{v} \} \\ =1-\min_{||\tilde{v}||=1}\{ \sum_{i}\frac{\tilde{v}(i)^2}{1+d_{i}}+ \tilde{v}^T \tilde{D}^{-\frac{1}{2}}A\tilde{D}^{-\frac{1}{2}} \tilde{v} \} λ~N​=max∣∣v~∣∣=1​v~TΔ~v~=max∣∣v~∣∣=1​v~T(In​−D~−21​A~D~−21​)v~=max∣∣v~∣∣=1​v~T[In​−D~−21​(In​+A)D~−21​]v~=max∣∣v~∣∣=1​{∣∣v~∣∣2−v~TD~−1v~−v~TD~−21​AD~−21​v~}=1−min∣∣v~∣∣=1​{v~TD~−1v~+v~TD~−21​AD~−21​v~}=1−min∣∣v~∣∣=1​{∑i​1+di​v~(i)2​+v~TD~−21​AD~−21​v~}

min括号中第一项显然是正数，可以放缩掉。
$$\begin{gathered} {\tilde{\lambda }}_N<1-{\min }_{||\tilde{v}||=1}{\tilde{v}}^T{\tilde{D}}^{-\frac{1}{2}}A{\tilde{D}}^{-\frac{1}{2}}\tilde{v} \\ ={\max }_{||\tilde{v}||=1}{\tilde{v}}^T(I_n-{\tilde{D}}^{-\frac{1}{2}}A{\tilde{D}}^{-\frac{1}{2}})\tilde{v} \end{gathered}$$

也可以参考https://arxiv.org/pdf/1905.10947.pdf 附录B。

待补充。

${\lambda }_{max}=2$

证明:
考虑基本不等式$(a-b{)}^2\le 2(a^2+b^2)$

https://link.springer.com/content/pdf/10.1007/s40304-020-00222-7.pdf
最大特征值起码 n+1/n-1

References

CS168-Lecture11 ，Spectral Graph Theory， https://web.stanford.edu/class/cs168/index.html

Chung & Graham (1997),Spectral Graph Theory

Felix Wu, Tianyi Zhang, Amauri Holanda de Souza Jr, Christopher Fifty, Tao Yu, and Kilian Q
Weinberger. Simplifying graph convolutional networks. arXiv preprint. https://arxiv.org/pdf/1902.07153.pdf