图卷积网络

引言

当数据为图结构数据的时候：数据嵌入在不规则的网络上，比如 社交网络、人体骨骼数据、天气数据等 ，在计算机视觉以及组合优化等应用较广
主要分为以下两类：

1 base kenowledge

1.1 spectural

1.1.1 拉普拉斯变换与函数空间

对n纬空间的量化可以通过正交的基来表达，以向量空间的正交为例
when -1<=x<=1, 三个函数1，x，x^2
the first base p1=1, $<1,x>={\int }_{-1}^{1}xdx$
the second base p2=x， $<x,x^2>={\int }_{-1}^{1}x{x}^{2}dx$
the thrid base p3 $p3=x^2-\frac{<x^2,1>}{<1,1>}-\frac{<x^2,x>}{<x,x>}=x^2-1/3$
一个幂级数可以写为：
$A(x)={\sum }_{n=0}^8{a}_n{x}^n$
$a_n$可以看成离散的函数，上式可以写成：
$A(x)={\sum }_{n=0}^{8}a(n)x^n$
举个例子：当an=1/n!
$A(x)=1+\frac{1}{1!}x+\frac{2}{2!}{x}^2+...=e^x$ (1)
公式（1）就是函数$e^x$在x=0的泰勒展开
可以进一步理解为，取一个定义在正整数上的离散函数，然后进行无穷次的相加操作，结果却能够产生一个连续函数。而且注意其中的离散函数an的变量为n,相加得出的却是关于变量x的连续函数
现在让离散求和变为连续求和，即不再是变量n=0,1,2,3…,而是另外定义一个变量t,并且有0<=t<8,
$A(x)={\int }_0^{8}a(t)x^{t}dt$
我们进一步简化，因为做微积分运算方便：
$A(x)={\int }_0^{8}a(t)(exp(lnx){)}^{t}dt={\int }_0^{8}f(t)exp(-st)dt|s=-lnx$
我们得到了Laplace Transform
拉普拉斯本身是一种积分变换，上面的公式可以看为积分变换的核函数，下面依次给出了傅立叶、拉普拉斯和希尔伯特变换

变换	核函数
傅立叶	$$K(t,w)=\frac{1}{\sqrt{2pi}}exp(-iwt)$$
laplace	$$k(t,s)=exp(-st)$$
hilbert	$$k(t,s)=\frac{1}{pi}\frac{1}{s-t}$$

1.1.2 谱域卷积

傅立叶变换F，满足下面关系式子，傅立叶变换就建立起了图域卷积=频域相乘
$f\ast g=F^{-1}(F(f)F(g))$
那图论下的函数，$F_G:V->R$，使得每一个节点v属于V，都被映射到实数R上。
图函数的梯度：
梯度的意义为，衡量函数在每一个点处，在每个正交方向的变化，如f(x,y,z) $\frac{\alpha f}{\alpha x}=\frac{f(x+dx)-f(x)}{(x+dx)-x}$, 在图论中，我们认为一个节点沿着每一条边通向它的相邻节点，每两条边之间相互并没有什么关系，我们认为这个节点的每一条边相互都是正交的。
那么对于一个节点$v_0$，我们认为其梯度是在一条通向$v_1$的边$e_{0}1$上的分量为
$\frac{F_G(v_0)-F_G(v_1)}{d_{0}1}=(F_G(v_0)-F_G)e_{01}$
可以定义如下图网络，依次为网络、矩阵$K_G$(列表示边，行表示接受的节点)、图函数$F_G$，则$K_G^T{f}_G$结果如下，可以看出其即为$F_G$梯度的结果。那么根据拉普拉斯算子的定义为其为函数梯度的散度，每个点上梯度的增加和减少，即进入的减去出去的，那么在上面结果的基础上乘$K_G^{{}^{\prime }}$，$\left[\begin{array}{ccccc}-1& -1& 0& 0& \dots \\ 1& 0& -1& 0& \dots \\ ⋮& ⋮& \ddots & & \end{array}\right]\times \left[\begin{array}{c}10\\ -15\\ ⋮\end{array}\right]=\left[\begin{array}{c}5\\ 58\\ ⋮\end{array}\right]$
那么,图论函数的纳普拉斯算子$K_G^{{}^{\prime }}{K}_G^T$
经过观察可以发现其可以表示为： L=D-W

### 1.1.3 谱分解
有了经典的拉普拉斯算子L，对其进行矩阵谱分解，$L=U\Lambda U_T=Udiag({\lambda }_i)U^{-1}$
其有以下的性质：

1. 拉普拉斯矩阵的n个特征向量是n纬空间中的一组正交基
2. 实数拉普拉斯矩阵的特征向量一定是实向量
3. 拉普拉斯矩阵的特征之非负
4. 图上的拉普拉斯矩阵是图上的一种拉普拉斯算子
   还有一个重要的性质，其特征值大小有顺序，其与傅立叶变换中，低频特征和高频特征具有一定的相似性

图傅立叶变换的定义：
正变换为求组合系数：
$\hat{x}({\lambda }_x)=<x,u_l>=U^{T}x$
逆变换为求
$x(i)=<\hat{x}({\lambda }_l)u_l(i)>=U\hat{x}$

1.1.4 卷积

图卷积表示为
$x\ast g=F^{-1}(F(x)F(g))=U(U^{T}x{U}^{T}g)$

1.2 space

卷积
固定数量领域节点排序后，与相同数量的卷积核参数相乘求和，主要问题为：

1. 构建领域，邻居的选择和排序
2. 对领域的点与卷积进行排序

不同模型采用了不同的解决思路。

2 谱域卷积

2.1 SCNN

3 空域卷积

3.1 GNN

3.2 GraphSAGE

3.3 GAT

3.4 PGC

参考

[1] 傅立叶变换
[2] 谱图理论