JK-Nets在引文网络上的应用【jumping knowledge】

JK-Nets在引文网络上的应用

Xu K, Li C, Tian Y, et al. Representation learning on graphs with jumping knowledge networks[J]. arXiv preprint arXiv:1806.03536, 2018.

虽然JK-Nets的paper中还讲到了其他的内容（random walk）和数据集（Reddit、PPI），但是我关注的重点还是在引文网络上。

关键词：citation network、jumping knowledge、GCN、GAT

---

JK-Nets模型的思想和架构

其实，与其说是模型，不如说JK-Nets是一种框架，我们可以在中间层填充任意的聚合器（图卷积层，如GCNConv、SAGConv等）。

GCN等模型的痛点：

像GCN、GAT、GraphSAGE等模型，你会发现，它们在节点分类任务中获得最佳表现的层数基本就是2-3层，如果继续加深，则会出现过平滑的问题（表现反而变差）。至于为什么会出现这种情况，文章从influence distribution等方面进行了一通高大上的分析。

通俗来讲是这样的：我们姑且把节点模糊的分为两类，中心节点和边缘节点。中心节点由于靠近图的中心，它的收敛/扩展速度很快，2-3次迭代就已经把有效的邻居信息都聚合完了，万事俱备，只待一声节点分类的号令；而边缘节点的局部结构更像是树枝，它的收敛速度就比较慢了，可能需要5-6次迭代（甚至更多次）才能聚合足够的邻居信息来支持它。

这样就出现了一个问题——我们如何来确定这个影响半径（迭代次数），来保证每个节点都能够达到其最佳状态呢？

在GCN、GAT、GraphSAGE等模型中，因为每层对于每个节点的操作都是一样的，所以为每个节点“私人订制”迭代次数是无法做到的。这样，它们只能够使用“少数服从多数”的方法，尽量满足大部分节点，来固定影响半径。

回到引文网络上来。引文网络数据集是服从幂律度分布的，少数高度的节点和大量低度的节点都需要去考虑。为了提高表达能力，先前“一刀切”的方案还有待于进一步改进。因此，JK-Nets就想着如何满足每个节点不同的个性化需求（学习到每个节点的最佳表示）呢？

JK-Nets的解决方案

JK-Nets巧妙地利用了每一层的hidden representation。它并没有去改动MPNN框架，也没有提出具体的aggregator，而是在之前图卷积层的基础上，在最后一层上做文章。

JK-Nets表示，前面的Gconv层中的聚合和更新操作，你该咋地还咋地，只不过你需要保存本层的输出，因为最后的层聚合（layer aggregation）需要用到。所有的层都处理完毕之后，他们把自己的输出$h_v^{(0)},...,h_v^{(k)}$都保存了下来，这个时候就轮到最后的层聚合登场了。

paper中一共提供了3中层聚合方案，不过对于引文网络这个比较小的数据集，concat和max-pooling的效果要比LSTM更好一些（因为LSTM又会引入很多参数，在小图上会导致overfit），因此主要介绍前两种。

1. concat。具体流程是，先把所有中间层进行拼接，然后经过一个FC层进行整形（一般最终的维度是num_class）得到最终的节点表示。注意，由于FC层的参数在节点间共享，所以它并不是adaptable的，但是它依然能够在小图上有良好的表现。
2. max-pooling。这个就更简单了，在保证中间层维度相同的前提下，每个节点的所有中间层逐元素取max，以选取最有用的信息。这种方法是adaptable的，并且还不引入额外的参数。

JK-Nets在引文网络上的实验

paper中使用了cora和citeseer数据集进行了实验。

实验的base model（前面的Gconv层）使用的是GCN，经过JK-Nets进行层聚合后，最后还要经过一个FC层进行整形，得到最终的节点嵌入表示。