Disentangled Graph Convolutional Networks解耦图卷积神经网络 ICML 2019

论文链接：http://proceedings.mlr.press/v97/ma19a.html

相关介绍

摘要

真实世界的图通常是在许多潜在因素的高度复杂交互作用下产生的。现有的图结构数据深度学习方法忽略了潜在因素的纠缠性（entanglement），使得学习表示不具有鲁棒性，难以解释。然而，学习潜在因素的解耦（disentangled）表征的潜在因素具有巨大的挑战，且未有文献讨论此问题。作者提出了一种新的解耦图卷积神经网络，去学习解耦后的节点表示（embedding）。特别的，作者提出了一种新的节点的邻域选择、传递机制（neighborhood routing mechanism），能够动态识别节点和其邻域之间的潜在因素。

main contributions

1. 设计了一种全新的解耦图神经网络来学习解耦后的节点表示
2. 使用neighborhood routing mechanism来推断每条边能够形成的因素，这种方式是可微的，并且支持归纳学习。（这一部分实际可理解为：原来的网络是将所有邻域节点耦合进行信息传递，解耦网络是将所有的邻域节点解耦为k组，再进行聚合和信息传递）
3. 理论分析了neighborhood routing mechanism的收敛性，实验证明其优越性。

DisenGCN: the Proposed Model

1. DisenConv 的基本假设

传统图神经网络的关键部分在于网络层$f(\cdot )$,输入为节点及邻域节点的特征，输出为节点的embedding:

y u = f ( x u , { x v : ( u , v ) ∈ G } ) y_u=f(x_u,\left\{x_v:(u,v)\in G \right\}) yu​=f(xu​,{xv​:(u,v)∈G})，这里的$y_u$即为输出节点的embedding。

作者提出的解耦方式为$y_u$是由$K$个独立的部分所构成，即$y_u=[c_1,c_2,...,c_K]$，它们被各自的factor $k$所影响。

这里的难点就在于如何找到这样确切的由factor $k$所影响的$K$个独立子集组成。这一部分即作者提到的neighborhood routing mechanism，基于以下两个假设：

1. 如果子集足够大，且子集内的邻域节点较为相似（被聚类后的节点），那么factor $k$可以被认为是节点$u$与其邻域节点某个子集有连接的原因。（这一部分实际要求对子集内的邻域节点做聚类，有去噪的作用）。
2. 如果节点$u$与其邻域节点$v$相似，也可认为factor $k$是节点$u$与其邻域节点$v$有连接的原因。

2. The DisenConv Layer

整个DisenConv Layer可以分为以下两个部分：

1. 第一个基于节点$i$的for循环，对每一个节点$i$根据其$K$个独立子集进行初始化。这里的基本假设是$Z_{i,k}$可以近似描述节点$i$的第$k$个与factor $k$相关联的部分。作者用2范数来确保数据的稳定性防止过拟合。
2. 第二个迭代部分是基于中心节点$u$（即所要学习的节点）的邻居节点$v$的循环，主要目的是进行信息聚合和传递（即节点的更新）。
   这里的$p_{v,k}$表示节点$u$和节点$v$的第$k$个部分有关联的概率（可以理解为进行信息聚合时的权重）
   
   从公式看类似于一个相似性测度来分配权重。
   最后的$c_k$为加权求和，进行节点更新。

理论分析

较为复杂，待更新

实验部分

数据集