GCN 问题与解答

前言

最近尝试理解 GCN 的数学原理, 阅读了许多优秀的资料, 可以参阅 “参考资料” 这一节. 这些资料详细介绍了 GCN 的来龙去脉, 我尤其推荐 图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导 以及 Graph Convolutional Networks 这两篇博客. 将它们细细看完受益良多, 然而信息输入后还需提炼加工才能转化为自身的养料, 因此本博客以问答的形式将我关心的内容总结出来, 以巩固学习的效果.

广而告之

可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号；另外可以看看知乎专栏 PoorMemory-机器学习, 以后文章也会发在知乎专栏中；

为什么传统的卷积方式无法用在 Graph 结构上?

因为传统卷积主要处理的是 Euclidean Structure 的数据, 这类数据排列整齐 (如图像和文本), 能够保持卷积的平移不变性; 而 Graph 结构数据 Non-Euclidean Structure, 每个节点的邻居节点数量可能各不相同, 无法用同一尺寸的卷积核进行处理.

GCN 为什么要采用拉普拉斯矩阵 (Laplacian Matrix)?

参考资料:

http://xtf615.com/2019/02/24/gcn/

图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导

如何理解 Graph Convolutional Network（GCN）? 中的

• 如何理解 Graph Convolutional Network（GCN）？ - Johnny Richards的回答 - 知乎 https://www.zhihu.com/question/54504471/answer/630639025
• 如何理解 Graph Convolutional Network（GCN）？ - superbrother的回答 - 知乎 https://www.zhihu.com/question/54504471/answer/332657604

拉普拉斯矩阵与拉普拉斯算子的关系

看了很多资料, 我个人总结如下:

传统 Fourier 变换的基为 $e^{-j\omega x}$, 正好是拉普拉斯算子 $\Delta$ 的特征函数, 因为:
$$\Delta e^{-j\omega x}={\omega }^2{e}^{-j\omega x}$$ 那么对于图 Fourier 卷积, 由此联想, 由于拉普拉斯矩阵 $L$ 与拉普拉斯算子 $\Delta$ 之间存在密切联系 ($L$ 矩阵作用相当于 $\Delta$ 算子), 那么 $L$ 矩阵的特征向量是不是就可以作为图 Fourier 变换的基呢? 答案是可以的, 因为 $L$ 是半正定的实对称矩阵(无向图), 故存在 n 个相互正交的特征向量, 这 n 个特征向量可以张成整个线性空间.

图卷积公式 ?

来自 图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导

• 设 $f$ 为 Graph 上的 $N$ 维向量, 可以表示某个节点的特征, 其中 $f(i)$ 表示第 $i$ 维特征;
• 令 ${\lambda }_l$ 和 $u_l$ 分别为拉普拉斯矩阵 $L$ 的第 $l$ 个特征值和特征向量;
• $\hat{f}$ 表示 $f$ 的傅里叶变换;

那么 $f$ 的 Graph 傅里叶变换为:
$$F({\lambda }_l)=\hat{f}({\lambda }_l)=\sum _{i=1}^{N}f(i)u_l(i)$$ 推广到矩阵形式:
$$\left(\begin{array}{c}\hat{f}\left({\lambda }_1\right)\\ \hat{f}\left({\lambda }_2\right)\\ ⋮\\ \hat{f}\left({\lambda }_N\right)\end{array}\right)=\left(\begin{array}{cccc}{u}_1(1)& u_1(2)& \dots & u_1(N)\\ u_2(1)& u_2(2)& \cdots & u_2(N)\\ ⋮& ⋮& \ddots & ⋮\\ u_N(1)& u_N(2)& \cdots & u_N(N)\end{array}\right)\left(\begin{array}{c}f(1)\\ f(2)\\ ⋮\\ f(N)\end{array}\right)$$
即 $f$ 在 Graph 上的傅里叶变换的矩阵形式为:
$$\hat{f}=U^{T}f$$ 另外可以得到傅里叶逆变换:
$$f(i)=\sum _{l=1}^N\hat{f}({\lambda }_l)u_l(i)$$ 将其推广为矩阵形式如下:
$$\left(\begin{array}{c}f(1)\\ f(2)\\ ⋮\\ f(N)\end{array}\right)=\left(\begin{array}{cccc}{u}_1(1)& u_2(1)& \dots & u_N(1)\\ u_1(2)& u_1(2)& \dots & u_N(2)\\ ⋮& ⋮& \ddots & ⋮\\ u_1(N)& u_2(N)& \dots & u_N(N)\end{array}\right)\left(\begin{array}{c}\hat{f}\left({\lambda }_1\right)\\ \hat{f}\left({\lambda }_2\right)\\ ⋮\\ \hat{f}\left({\lambda }_N\right)\end{array}\right)$$ 即 $f$ 在 Graph 上的傅里叶逆变换的矩阵形式为:
$$f=U\hat{f}$$ Graph 上的傅里叶变换推广到图卷积

设 $g$ 为卷积核, 根据卷积定理, 有:
f ⊗ g = F − 1 { F ( f ) ⋅ F ( g ) } = F − 1 { f ^ ⋅ g ^ } f \otimes g = \mathcal{F}^{-1}\{\mathcal{F}(f)\cdot\mathcal{F}(g)\} = \mathcal{F}^{-1}\{\hat{f}\cdot\hat{g}\} f⊗g=F−1{F(f)⋅F(g)}=F−1{f^​⋅g^​} 因此对 Graph 上的特征 $f$ 和卷积核 $g$ 的卷积可以表示为:
$$(f\otimes g{)}_G=U\left(\left(U^{T}g\right)\cdot \left(U^{T}f\right)\right)=U\left(\left(U^{T}g\right)\odot \left(U^{T}f\right)\right)$$ $\odot$ 表示hadamard product (哈达马积). 对于两个向量, 就是进行内积运算; 对于维度相同的两个矩阵, 就是对应元素的乘积运算. 如果把 $U^{T}g$ 整体看作可学习的卷积核，这里我们把它写作 $g_{\theta }$, 最终图上的卷积公式即是:
$$(f\otimes g{)}_G=U{g}_{\theta }{U}^{T}f$$ 有的地方, 还把 $g_{\theta }=U^{T}g$ 写成对角矩阵的形式, 即定义$g_{\theta }=diag(U^{T}g)$, 则:
$$f\ast g_{\theta }=U{g}_{\theta }{U}^{T}f=U\left(\begin{array}{ccc}\hat{g}\left({\lambda }_1\right)& & \\ & \ddots & \\ & & \hat{g}\left({\lambda }_n\right)\end{array}\right)U^{T}f$$ 很多算法都是在 $g_{\theta }$ 的基础上做文章.

离散傅里叶变换 (Discrete Fourier transform, DFT) 公式 ?

信号 $x_n$ 的 DFT 为:
$$X_k=\sum _{n=0}^{n=N-1}{x}_n{e}^{-j\frac{2\pi }{N}kn}$$ 其逆变换 IDFT 为:
$$x_n=\sum _{k=0}^{k=N-1}{X}_k{e}^{j\frac{2\pi }{N}kn}$$

什么是离散卷积? CNN 中的离散卷积有什么作用?

离散卷积本质上是一种加权求和. CNN 中的卷积本质上是利用共享参数的滤波器/卷积核 (kernel), 通过计算中心像素点和相邻像素点的加权和来构成 feature map 实现空间特征提取. 需要注意的是, 卷积核的参数需要优化才能实现特征提取的作用, GCN 理论很大一部分工作就是为了引入可以优化的卷积参数

矩阵的 $k$ 次方有什么特点?

来自 http://xtf615.com/2019/02/24/gcn/

矩阵的 $k$ 次方可以用于求连通性，即1个节点经过 $k$ 步能否到达另一个顶点，矩阵 $k$ 次方结果中对应元素非 0 的话可达，为 0 则不可达。因此 $L$ 矩阵的 $k$ 次方的含义就是代表 $k$-hop 之内的节点

无向图拉普拉斯矩阵 $L$ 有什么特点?

来自 图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导

1. 拉普拉斯矩阵 $L$ 是半正定矩阵, 实对称矩阵以及含有 n 个互不相关的特征向量. (半正定矩阵最小的特征值 $\ge 0$)

2. 特征值中0出现的次数就是图连通区域的个数

3. 最小特征值是0，因为拉普拉斯矩阵（普通形式：$L=D-A$）每一行的和均为0，并且最小特征值对应的特征向量是每个值全为 1 的向量, 因为:
   $$L\left[\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right]=0$$

4. 最小非零特征值是图的代数连通度

矩阵相乘时间复杂度 ?

(这里我没有完全想清楚, 不要相信下面的 bu****it)

设矩阵 $A\in {\mathbb{R}}^{m\times k},B\in {\mathbb{R}}^{k\times n}$, 矩阵乘法 $A\ast B$ 的时间复杂度是多少? 答案是 $\mathcal{O}(m\cdot k\cdot n)$.

因为 $A\ast B\in {\mathbb{R}}^{m\times n}$, 总共有 $m\times n$ 个元素, 而每个元素是由 $A$ 中的每一行与 $B$ 中每一列的乘积, 需要进行 $k$ 次乘法和 $k-1$ 次加法, 这个过程需要执行 $m\times n$ 次, 因此时间复杂度为 $\mathcal{O}(m\cdot k\cdot n)$.

在 GCN 的论文 中, 作者谈到公式:
$$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$$ 的时间复杂度为 $\mathcal{O}(|\mathcal{E}|CF)$, 其中 ${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}\in {\mathbb{R}}^{N\times N},X\in {\mathbb{R}}^{N\times C},\Theta \in {\mathbb{R}}^{C\times F}$.

实际上, 在具体代码实现中, ${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$ 使用稀疏矩阵的形式来表示, 在整个矩阵中存在数值的位置只有 $|\mathcal{E}|$ 个.

那么稀疏矩阵 ${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$ 与 $X$ 的乘积可以高效实现. 上式的时间复杂度为 $\mathcal{O}(|\mathcal{E}|CF)$.

在第二代 GCN 中, 卷积核如何体现 spatial localization ?

前面说过, 对于 Graph 上的特征 $f$ 和卷积核 $g$ 的卷积可以写成:
$$(f\otimes g{)}_G=Ug(\Lambda )U^{T}f$$ 其中 $g(\Lambda )=diag[\hat{g}({\lambda }_1),\hat{g}({\lambda }_2),\dots ,\hat{g}({\lambda }_n)]$, 其中 $\Lambda$ 为对角阵, 对角线上的元素 ${\lambda }_1,\dots ,{\lambda }_n$ 为拉普拉斯矩阵 $L$ 的特征值.

首先看看第一代 GCN 的设计, 其将 $\hat{g}$ 直接作为参数进行学习, 即令 $\hat{g}\to \theta$, 此时令 $g_{\theta }=diag[{\theta }_1,{\theta }_2,\dots ,{\theta }_n]$, 那么卷积的结果为:
$$(f\otimes g{)}_G=U{g}_{\theta }{U}^{T}f$$ 这就有以下的问题:

1. 参数数量多, 总共有 $n$ 个参数, 和图中的节点数量一致; 当图很大的时候, 参数也非常多.
2. 计算复杂度高: 首先要得到 $U$, 就需要对拉普拉斯矩阵 $L$ 进行特征分解(Eigen Decomposition, 又称谱分解, Spectral Decomposition); 其次还要做 $U{g}_{\theta }{U}^T$ 矩阵乘法, 而且是在每次前向传播时都要进行.
3. 不能体现 Spatial Localization: 因为每个节点在更新特征的时候, 需要用上其他所有节点的特征, 而不单单是邻居节点的特征 (这一点在后面介绍邻接矩阵和输入特征相乘时更能体会)

基于以上问题, 第二代 GCN 给出的解决办法是, 将卷积核 $g(\Lambda )$ 设计成如下 $k$ 阶多项式的形式:
$$g(\Lambda )=g_{\theta }(\Lambda )\approx \sum _{k=1}^K{\theta }_k{\Lambda }^k$$ 注意 $\Lambda$ 为拉普拉斯矩阵特征值组成的对角阵, 另外参数 $\theta$ 的个数只有 $K$ 个. 将这个卷积核代入到卷积公式中, 可以得到:
$$\begin{array}{rl}(f\otimes g{)}_G& =U{g}_{\theta }{U}^{T}f\\ & =U\sum _{k=1}^K{\theta }_k{\Lambda }^k{U}^{T}f\\ & =\sum _{k=1}^K{\theta }_{k}U{\Lambda }^k{U}^{T}f\\ & =\sum _{k=1}^K{\theta }_k{\left(U\Lambda U^T\right)}^{k}f\\ & =\sum _{k=1}^K{\theta }_k{L}^{k}f\end{array}$$ 可以看到, 结果中出现 $L^k$, 即拉普拉斯矩阵的 $k$ 次方. 这就是说, 第二代 GCN 无需像第一代 GCN 那样需要先进行特征分解了. 那么这个结果如何体现 Spatial Localization 呢? 第一点需要明确的是, $L\cdot f$ 的每一行输出结果中, 节点特征中只包含 1-hop 邻居节点的特征, 比如假设 $L$ 第一行为 $[2,0,1,0,1]$, 即总共有 5 个节点, 那么 $f$ 可能为:
$$f=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\\ j& k& l\\ m& n& o\end{array}\right]$$ $L\cdot f$ 的结果为:
$$[2\ast a+1\ast g+1\ast m,2\ast b+1\ast h+1\ast n,2\ast c+1\ast i+1\ast o]$$ 设 5 个节点分别为 $n_i,i=1,\dots ,5$, 另外设 $n_i(j)$ 表示第 $i$ 个节点的第 $j$ 个特征. 可以看到:
$$\begin{gathered} n_1^{\prime }(1)=2\ast n_1(1)+1\ast n_3(1)+1\ast n_5(1) \\ {n}_1^{\prime }(2)=2\ast n_1(2)+1\ast n_3(2)+1\ast n_5(2) \\ {n}_1^{\prime }(3)=2\ast n_1(3)+1\ast n_3(3)+1\ast n_5(3) \end{gathered}$$ 从 $L$ 上可以看出结果不为 0 的位置说明两个节点是有边相连的, 即互为邻居. 上面的公式表明, $L\cdot f$ 中每个节点特征的更新会用到 1-hop 邻居的特征. 那么同理, $L^2\cdot f$ 的结果中, 每个节点特征的更新, 不止会用到 1-hop 邻居的特征, 还会用到邻居节点的邻居节点的特征, 即 2-hop 的特征, 因为:

# 假设一张包含三个节点的简单图
node1 <- node2 <- node3

对于 node2 来说, $L\cdot f$ 已经让它获取了 node3 的信息, 那么再进行 $L\cdot (L\cdot f)$, 就能让 node1 获取更新后的 node2 的信息, 而此时 node2 中的信息包含了 node3 中的信息, 最终的效果就是 node1 也包含了 node3 的信息. 哈哈哈…呵~

那么 $L^k\cdot f$ 相当于只会利用到 $k$-hop 邻居的信息, 不需要用到全部节点的信息, 这体现了 Spatial Localization. 另一方面, 注意到 ${\theta }_k$ 这个参数是随着 $k$ 变化的, 也就是说, 同阶的邻居同享同一个参数, 而不同阶的邻居参数不共享.

继续介绍一个新的问题: 由于 $L^k$ 的时间复杂度依旧很高, 作者引入了利用 Chebyshev 多项式来拟合卷积核的方法. 可以用切比雪夫多项式来近似 $L^k$, 因为任何 $k$ 阶多项式都可以用切比雪夫多项式来近似.

引入 $k$ 阶截断的(truncated) Chebyshev 多项式 $T_k(x)$ 来近似 $L^k$, 此时卷积核 $g_{\theta }(\Lambda )$ 可以近似为:
$$g_{\theta }(\Lambda )\approx \sum _{k=0}^K{\theta }_k{T}_k(\tilde{\Lambda })$$ 其中 ${\theta }_k$ 为切比雪夫多项式的系数, $T_k(\tilde{\Lambda })$ 是取 $\tilde{\Lambda }=\frac{2}{{\lambda }_{max}}\Lambda -I$ 的切比雪夫多项式, 进行这个变换的原因是切比雪夫多项式的输入要在 $[-1,1]$ 之间.

切比雪夫多项式(Chebyshev Polynomial)使用递归的方式定义:
$$\begin{gathered} T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x) \\ {T}_0(x)=1,T_1(x)=x \end{gathered}$$ 卷积结果可以近似为:
$$\begin{array}{rl}(f\otimes g{)}_G& =U{g}_{\theta }{U}^{T}f\\ & =\sum _{k=0}^K{\theta }_{k}U{T}_k(\tilde{\Lambda })U^{T}f\\ & =\sum _{k=0}^K{\theta }_k{T}_k(\tilde{L})f\end{array}$$ 其中 $T_k(\tilde{L})=2\tilde{L}{T}_{k-1}(\tilde{L})-T_{k-2}(\tilde{L})$, 并且满足 $T_0(\tilde{L})=I,T_1(\tilde{L})=\tilde{L}$.

此时计算一次 $T_k(\tilde{L})f$ 的时间复杂度只需要 $\mathcal{O}(|\mathcal{E}|)$, 计算整个卷积的时间复杂度为 $\mathcal{O}(K|\mathcal{E}|)$, 相比于前面直接计算 $L^k$ 所需的时间复杂度 $\mathcal{O}(N^2)$, 有了显著的提升.

总结第二代 GCN 可以发现优势如下:

1. 参数数量大大减少: 卷积核 $g_{\theta }(\Lambda )$ 只有参数 $\theta \in {\mathbb{R}}^K$, 即 $K$ 个参数
2. 具有 Spatial Localization: 每个节点特征的更新只与 $K$-hop 范围内的邻居有关
3. 如果用 $L^k$ 的方式去计算卷积核, 那么无需再做特征分解了, 可以直接利用拉普拉斯矩阵, 缺点是时间复杂度高; 而如果用切比雪夫多项式去逼近 $L^k$, 则可以进一步减小时间复杂度.

缺点在 解读三种经典GCN中的Parameter Sharing 一文中有介绍, 即:

参数太少, 在每一阶(每一个 hop) 中的所有邻居都共用同一个参数 ${\theta }_k$, 使得模型无法很好地实现在同阶的邻域上分配不同的权重给不同的邻居（也就是GAT论文里说的 enable specifying different weights to different nodes in a neighborhood)

在第三代 GCN 中, 为何设置 ${\lambda }_{max}=2$ ?

参考自: http://xtf615.com/2019/02/24/gcn/

在推导第三代 GCN时, 作者主要是对第二代 GCN 中的卷积公式进行简化, 在这个过程中用到了很多技巧.

1. 令 $K=1$, 此时切比雪夫多项式是 1 阶的, 即每层卷积层只需要考虑 1-hop 的邻居;
2. 通过堆叠多层卷积层来获取 multi-hop 邻居的信息;
3. 加入一些参数的约束, 比如 ${\lambda }_{max}\approx 2$, 引入 renormalization trick, 以便简化模型;

具体推导如下, 令 $K=1,{\lambda }_{max}\approx 2$:
$$\begin{array}{rl}(f\otimes g{)}_G& =\sum _{k=0}^K{\theta }_k{T}_k(\tilde{L})f\\ & ={\theta }_0{T}_0(\tilde{L})f+{\theta }_1{T}_1(\tilde{L})f\left(\text{note: }{T}_0(\tilde{L})=I,T_1(\tilde{L})=\tilde{L}=\frac{2}{{\lambda }_{max}}L-I\right)\\ & ={\theta }_{0}f+{\theta }_1(L-I)f\end{array}$$ 取归一化的拉普拉斯矩阵 $L=D^{-\frac{1}{2}}(D-A)D^{-\frac{1}{2}}$, 其中 $D$ 为 Graph 的度矩阵, 其为对角阵, 满足 $d_{ii}={\sum }_j{A}_{ij}$, $A$ 为 Graph 的邻接矩阵. 将 $L$ 代入到上式中, 并做进一步的简化, 令 ${\theta }_0=-{\theta }_1$, 此时模型中参数简化为 1 个 $\theta$:
$$\begin{array}{rl}(f\otimes g{)}_G& ={\theta }_{0}f+{\theta }_1\left(D^{-\frac{1}{2}}(D-A)D^{-\frac{1}{2}}-I\right)f\\ & ={\theta }_{0}f-{\theta }_1{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}f\\ & =\theta f+\theta D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}f\\ & =\theta \left(I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\right)f\end{array}$$ 由于 $I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$ 的范围为 $[0,2]$ 比较大, 可能在模型训练的时候导致梯度爆炸/消失, 因此使用 renormalization trick, 令:
$$I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\to {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$$ 其中 $\tilde{A}=A+I$ (相当于增加了 self-connection), ${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$, 此时:
$$(f\otimes g{)}_G=\theta \left(\underset{{\mathbb{R}}^{N\times N}}{\underbrace{{\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}}}\right)\underset{{\mathbb{R}}^{N\times 1}}{\underbrace{f}}$$ 其中 $N$ 为节点的个数,

推广到多通道(单个节点的信息是向量，对比图像上 3 个通道 RGB 的值构成 3 维向量)和多卷积核(每个卷积核只有1个参数), 即:
$$f\in {\mathbb{R}}^{N\times 1}\to X\in {\mathbb{R}}^{N\times C}$$ $X$ 为节点的特征矩阵, $C$ 为通道数. 相应的卷积核变化为:
$$\theta \in \mathbb{R}\to W\in {\mathbb{R}}^{C\times F}$$ 其中 $F$ 为卷积核的数目. 此时卷积结果可以写成:
$$\underset{{\mathbb{R}}^{N\times F}}{\underbrace{Z}}=\left(\underset{{\mathbb{R}}^{N\times N}}{\underbrace{{\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}}}\right)\underset{{\mathbb{R}}^{N\times C}}{\underbrace{X}}\cdot \underset{{\mathbb{R}}^{C\times F}}{\underbrace{W}}$$ 最终得到的卷积结果 $Z\in {\mathbb{R}}^{N\times F}$ . 如果堆叠多层的话, 可以将激活后的 $Z$ 输入到下一层作为输入.

如何使用 GCN 进行无监督训练 ?

最近打算用 GCN 在无监督任务中做一些工作, 正好也有网友提到了这个问题, 这里写下自己的一些想法, 不一定正确.

先说一下一种常见的实现无监督训练的模式: 设置 source_encoder 和 target_encoder, (可以把它们理解为两个 Embedding Layer), 其中 source_encoder 用于对源节点进行编码, 而 target_encoder 用于对目标节点(包括正样本/负样本)进行编码, 这样可以分别得到源节点, 正样本, 负样本的 embedding, 假设分别为 emb_s, emb_p, emb_n. 之后在设计 loss 的时候, 首先要分别计算源节点和正负样本的内积, 比如 dot_p = emb_s * emb_p, dot_n = emb_s * emb_n, 然后设置 dot_p 的 label 为 1 (因为它是源节点和正样本的内积), 设置 dot_n 对应的 label 为 0, 最后使用 softmax cross entropy loss 进行训练.

这套流程常见于 node2vec / DeepWalk 中. 那么将 GCN 的思想迁移过来的话, 我觉得只需要将 source_encoder / target_encoder 中产生 embedding 的方法进行修改即可, 将简单的 Embedding Layer 替换为 GCN Layer, 其他部分可以保持不变. 通过这种方式, 应该也能进行无监督训练.

参考资料

图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导

如何理解 Graph Convolutional Network（GCN）？

Graph Convolutional Networks

Graph Signal Processing - Basics on Fourier Analysis

Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering (ChebNet)

GRAPH CONVOLUTIONAL NETWORKS tkipf 作者的主页

图卷积神经网络(GCN)详解:包括了数学基础(傅里叶，拉普拉斯)

【Graph Neural Network】GCN: 算法原理，实现和应用

图卷积网络到底怎么做，这是一份极简的Numpy实现

从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二)

如何理解傅立叶级数公式？

从傅立叶级数到傅立叶变换

向往的GAT(图注意力模型)