GCN深入浅出

如何理解 Graph Convolutional Network（GCN）？我主要参考知乎上这个回答。这个回答从热传播模型开始说起，介绍了图卷积网络和热传播模型的关系，说明了图卷积网络方法的一般思路。本博客重述了该回答的主要内容。

图卷积网络的本质“图中的每个结点无时无刻不因为邻居和更远的点的影响而在改变着自己的状态直到最终的平衡，关系越亲近的邻居影响越大。”结点状态的改变与GCN使用的Laplacian矩阵有关。“知道了Laplacian矩阵在干什么后，剩下的只是解法的不同——所谓的Fourier变换只是将问题从空域变换到频域去解，所以也有直接在空域解的（例如GraphSage）。”

热传播模型

连续欧氏空间的热传播模型

根据牛顿冷却定律，热量传递的速度正比与温度梯度。假设有一根均匀的铁棒，不同位置温度不一样，热量从铁棒的一端传播到另一端，现在我们刻画这个铁棒上面温度热传播随着时间变化的关系。首先，我们把问题简单化，假设铁棒是一个一维链条，链条上每个单元温度一致，热量在相邻的不同的单元之间传播，如下图

假设$T_1$温度低，$T_n$温度高，热量从右边向左边传播。对于第i个单元，它接受第i+1个单元传来的热量，从把自身的热量传到温度较低的第i-1个单元，假设它当前的温度为${\varphi }_i$，那么有：
$$\frac{d{\varphi }_i}{dt}=k({\varphi }_{i+1}-{\varphi }_i)-k({\varphi }_i-{\varphi }_{i-1})\text{\hspace{1em}(1)}$$
$\frac{d{\varphi }_i}{dt}$是指第i个单元的温度相对于时间的变化梯度，直观上的理解是单位时间内第i个单元温度的变化量。k和单元的比热容、质量有关，是个常数。右边第一项是下一个单元向本单元的热量流入导致温度升高，第二项是本单元向上一个单元的热量流出导致温度降低。变换一下上式得到：
$$\frac{d{\varphi }_i}{dt}-k[({\varphi }_{i+1}-{\varphi }_i)-({\varphi }_i-{\varphi }_{i-1})]=0\text{\hspace{1em}(2)}$$
第二项是两个差分的差分，推广到连续空间，就是导数的导数，即二阶导数。

所以，可以推出铁棒这样的连续一维空间的热传导方程是：
$$\frac{\partial \varphi }{\partial t}-k\frac{{\partial }^2\varphi }{\partial x^2}=0\text{\hspace{1em}(3)}$$
x表示距离。同理，在高维的欧氏空间中，一阶导数就推广到梯度，二阶导数就是拉普拉斯算子：
$$\frac{\partial \mathbf{\varphi }}{\partial t}-k{\nabla }^2\mathbf{\varphi }=0\text{\hspace{1em}(4)}$$

图上热传播模型

现在考虑热传播在在图上发生。图上的每个每个结点是一个单元，且这个单元只和与这个结点相连的单元发生热交换。

假设热量流动的速度依然满足牛顿冷却定律，研究任一结点i，它的温度随着时间的变化可以用下式来刻画：
$$\frac{d{\varphi }_i}{dt}=-k\sum _j{\mathbf{A}}_{ij}({\varphi }_i-{\varphi }_j)\text{\hspace{1em}(5)}$$
其中$\mathbf{A}$是这个图的邻接矩阵（Adjacency Matrix），对于${\mathbf{A}}_{ij}$，如果结点$i$和$j$连接，那么${\mathbf{A}}_{ij}=1$，否则${\mathbf{A}}_{ij}=0$。这里只考虑简单的情况：1、这张图是无向图，${\mathbf{A}}_{ij}={\mathbf{A}}_{ji}$，$A$是对称矩阵。2、结点没有自己到自己的回环边，即$\mathbf{A}$的对角线上元素都是0。

对上式进行变形
$$\begin{array}{rl}\frac{d{\varphi }_i}{dt}& =-k{\varphi }_i\sum _j{\mathbf{A}}_{ij}{\varphi }_i-k\sum _j{\mathbf{A}}_{ij}{\varphi }_j\\ & =-k[{\varphi }_{i}deg(i)+\sum _j{\mathbf{A}}_{ij}{\varphi }_j]\end{array}\text{\hspace{1em}(6)}$$
其中$deg(i)$表示对结点i求度（degree），一个结点点的度被定义为这个结点有多少条边连接出去，很显然，根据邻接矩阵的定义，公式右边第一项的求和正是在计算结点$i$的度。

再看右边括号里面的第二项，这可以认为是邻接矩阵的第$i$行和所有结点的温度组成的向量做内积。

把所有结点的温度变化写出向量形式
$$\left[\begin{array}{c}\frac{d{\varphi }_1}{dt}\\ \frac{d{\varphi }_2}{dt}\\ \cdots \\ \frac{d{\varphi }_n}{dt}\end{array}\right]=-k\left[\begin{array}{c}deg(1)\ast {\varphi }_1\\ deg(2)\ast {\varphi }_2\\ \cdots \\ deg(n)\ast {\varphi }_n\end{array}\right]+k\mathbf{A}\left[\begin{array}{c}{\varphi }_1\\ {\varphi }_2\\ \cdots \\ {\varphi }_n\end{array}\right]\text{\hspace{1em}(7)}$$

定义$\mathbf{\varphi }=[{\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_n{]}^T$，则
$$\frac{d\mathbf{\varphi }}{dt}=-k\mathbf{D}\mathbf{\varphi }+k\mathbf{A}\mathbf{\varphi }=-k(\mathbf{D}-\mathbf{A})\mathbf{\varphi }\text{\hspace{1em}(9)}$$
其中$\mathbf{D}=diag(deg(1),deg(2),\cdots ,\mathrm{deg}(n))$称为度矩阵，只有对角线上有值，且这个值表示对应的结点的度的大小。继续整理，得到：
$$\frac{d\mathbf{\varphi }}{dt}+k\mathbf{L}\mathbf{\varphi }=0\text{\hspace{1em}(10)}$$
回顾在连续欧式空间的那个微分方程(公式4)：
$$\frac{\partial \mathbf{\varphi }}{\partial t}-k{\nabla }^2\mathbf{\varphi }=0$$
二者具有一样的形式。对比一下二者之间的关系：

• 相同点：刻画空间温度分布随时间的变化，且这个变化满足一个相同形式的微分方程。
• 不同点：前者刻画拓扑空间有限结点，用向量$\mathbf{\varphi }$刻画当前状态，单位时间状态的变化正比于线性变化$-\mathbf{L}$算子。后者刻画欧氏空间的连续分布，单位时间状态变化正比于拉普拉斯算子${\nabla }^2$。

这就是同一种变换、同一种关系在不同空间上面的体现。于是，可以把连续空间中的热传导推广到图上面。把两个公式等同起来，以矩阵形式体现的$\mathbf{L}$就叫做拉普拉斯矩阵。这就是GCN中原始形式的拉普拉斯矩阵$\mathbf{L}=\mathbf{D}-\mathbf{A}$。

GCN

现在问题已经很明朗了，只要你给定了一个空间，给定了空间中存在一种东西可以在这个空间上流动，两邻点之间流动的强度正比于它们之间的状态差异，那么何止是热量可以在这个空间流动，任何东西都可以！自然而然，假设在图中各个结点流动的东西不是热量，而是特征（Feature），而是消息（Message），那么问题自然而然就被推广到了GCN。所以GCN的实质是什么，是在一张Graph Network中特征（Feature）和消息（Message）中的流动和传播！这个传播最原始的形态就是状态的变化正比于相应空间（这里是Graph空间）拉普拉斯算子作用在当前的状态。抓住了这个实质，剩下的问题就是怎么去更加好的建模和解决这个问题。建模方面就衍生出了各种不同的算法，你可以在这个问题上面复杂化这个模型，不一定要遵从牛顿冷却定律，你可以引入核函数、引入神经网络等方法把模型建得更非线性更能刻画复杂关系。解决方面，因为很多问题在频域解决更加好算，你可以通过Fourier变换把空域问题转化为频域问题，解完了再变换回来，于是便有了所有Fourier变换中的那些故事。

本质上，这是一种Message Passing，是一种Induction，卷积、傅立叶都是表象和解法。

GCN迭代

结合公式10，结点的状态计算公式是
$$\mathbf{\varphi }=\mathbf{\varphi }+\frac{d\mathbf{\varphi }}{dt}=\mathbf{\varphi }-k\mathbf{L}\mathbf{\varphi }\text{\hspace{1em}(11)}$$
结点的状态会因为邻居的影响而不断改变。每个结点都给一个初始状态，随着时间的推移，图中的结点都会趋向于某个稳定的状态，整个系统最终稳定下来。当我们不知道结点的状态，并想获得结点的状态时，就可以用这种方法：首先为每个结点给定一个初始状态${\mathbf{\varphi }}_{t_0}$，带入公式11的右边，得到的${\mathbf{\varphi }}_{t_1}$继续带入公式11的右边，不断迭代，直到$\mathbf{\varphi }$不在发生变化，用公式表示：
$${\mathbf{\varphi }}_{t+1}={\mathbf{\varphi }}_t-k\mathbf{L}{\mathbf{\varphi }}_t\text{\hspace{1em}(12)}$$

该方法是求公式11关于$\mathbf{\varphi }$的解的一种解决方法。如果学习过PageRank算法，可以发现PageRank的解法和该方法是一样的。

机器学习中，时间是离散的，我们可以逐步更新结点的状态。右边用拉普拉斯算子作用一次到全局的状态上，就能把状态更新一步！

实际解决的过程中，可以发挥机器学习搬砖工懂得举一反三的优良精神，首先，不一定要全局操作，我们可以batchify操作一部分结点，大家轮着来，其次，我们可以只考察这个点的一阶和二阶邻居对当前点作Message Passing，这个思想就是对拉普拉斯算子作特征分解，然后只取低阶的向量，因为矩阵的谱上面能量一般具有长尾效应，头几个特征值dominate几乎所有能量。

Laplacian加和性

Laplacian矩阵/算子不仅表现的是一种二阶导数的运算，另一方面，它表现了一种加和性，这个从图上热/消息传播方程最原始的形态就能一目了然：
$$\frac{d{\varphi }_i}{dt}=k\sum _j{\mathbf{A}}_{ij}({\varphi }_j-{\varphi }_i)$$
可见，每个结点每个时刻的状态变化，就是所有邻居对本结点差异的总和，也就是所有的邻居把message pass过来，然后再Aggregate一下，这正是GraphSage等空域算法的关键步骤Aggregate思想的滥觞。

在实际建模中，我们的Aggregate不一定是加和，作为一个熟练的机器学习搬砖工，我们懂得可以把Aggregate推广成各种操作例如Sum Pooling，例如LSTM，例如Attention，以求刷效果，发paper 😃