图卷积GCN推导

预备知识：

a. 傅里叶变换
$$F(f)(v)={\int }_{R}f(x)e^{-2\pi ix\cdot v}dx{F}^{-1}(f)(x)={\int }_{R}f(v)e^{2\pi iv\cdot x}dv$$
b. 卷积
$$h(z)={\int }_{R}f(x)g(z-x)dx$$
step1:
推导
$$f\ast g=F^{-1}(F(f)\cdot F(g))$$
$$\begin{gathered} F(f\ast g)(v)=F(h)(v)={\int }_{R}h(z)e^{2\pi iz\cdot v}dz \\ ={\int }_R{\int }_{R}f(x)g(z-x)dx\cdot e^{-2\pi iz\cdot v}dz \\ ={\int }_R{\int }_{R}f(x)g(y)dx\cdot e^{-2\pi i(x+y)\cdot v}dy \\ ={\int }_{R}f(x)e^{-2\pi ix\cdot v}dx\cdot {\int }_{R}f(y)e^{-2\pi iy\cdot v}dy \\ =F(f)(v)\cdot F(g)(v) \end{gathered}$$两边同时傅里叶逆变换就得到我们要证明的式子:
$$f\ast g=F^{-1}(F(f)\cdot F(g))$$
step2了解两个定义：
Def1 Degree matrix
$$D(i,j)=\{\begin{array}{rl}{d}_j& i=j\\ 0& otherwise\end{array}$$
Def2 Adjacency matrix
$$A(i,j)=\{\begin{array}{rl}1& x_i\sim x_j\\ 0& otherwise\end{array}$$
拉普拉斯矩阵 $L=D-A$, 标准化之后是 $L=D^{-\frac{1}{2}}(I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})D^{\frac{1}{2}}$
将$I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$特征值分解为$UA{U}^T$,即$U^T$是拉普拉斯矩阵L的特征向量张成的，也就是图傅里叶变换的基，也就是有下面的对照表：

导数	$$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}$$	$$f_{\ast g}^{\prime }(x)=f(x)-f(y)$$
二阶导数	$$\Delta f(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-2f(x)+f(x-h)}{h^2}$$	$${\Delta }_{\ast g}f(x)=\sum _{y\sim x}f(x)-f(y)$$
傅里叶变化的基	$$e^{2\pi ix\cdot v}$$	$U^T$
傅里叶逆变化的基	$$e^{-2\pi ix\cdot v}$$	$U$
维度	$\infty$	点的个数

step3

知道了图傅里叶变换的基就可以定义图傅里叶变换
$$GF(f)({\lambda }_l)=\sum _{l=0}^{n-1}f(i)u_l^{\ast }(i)$$
其中$u_l^{\ast }$是$U^T第l行$,令$x=(f(1),...,f(x))\in R^n$
则$$GF（x）=U^{T}x$$
类似的定义傅里叶逆变换$$IGF(\hat{f})(i)=\sum _{l=0}^{n-1}\hat{f}({\lambda }_i)u_l(i)$$可以写成$$IGF(x)=Ux$$
由第一步我们得到的卷积定理：$$f\ast g=F^{-1}(F(f)\cdot F(g))$$我们可以写出图卷积里的公式：$$g\ast x=U(U^{T}g\cdot U^{T}x)$$—（1）
把$U^{T}g$看做是 L 一个特征值的函数$g_{\theta }(\Lambda )$，参数为 $\theta$
则（1）式可以改成$$g_{\theta }\ast x=U{g}_{\theta }(\Lambda )U^{T}x$$

用Chebyshev多项式$T_k$区逼近$g_{\theta }(\Lambda )$得到
$$g_{{\theta }^{{}^{\prime }}}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\Lambda -I_N)$$
又因为$(U\Lambda U^T{)}^k=U{\Lambda }^k{U}^T$ 有

$$g_{{\theta }^{{}^{\prime }}}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(L-I_N)$$
令K=1，则$$\begin{gathered} g_{{\theta }^{{}^{\prime }}}\ast x\approx ({\theta }_0^{\prime }+{\theta }_1^{\prime })(L-I_N)x \\ ={\theta }_0^{\prime }x-{\theta }_1^{\prime }(D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x \end{gathered}$$
令 $\theta ={\theta }_0^{\prime }={\theta }_1^{\prime }\hat{A}=A+I_N{\hat{D}}_{ii}={\sum }_j{\hat{A}}_{ij}$ 有
$$g_{{\theta }^{{}^{\prime }}}\ast x=\theta ({\hat{D}}^{-\frac{1}{2}}A{\hat{D}}^{-\frac{1}{2}})x$$
最终套上一个激活函数就可以得到我们的GCN公式：
上图截取自论文 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS https://arxiv.org/pdf/1609.02907.pdf