对称图自编码器-Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning

Abstract

我们提出了一种对称图卷积自动编码器，它可以从一个图生成一个低维的潜在表示。与现有的具有非对称解码器部分的图形自动编码器相比，本文提出的自动编码器具有一个新设计的解码器，该解码器构建了一个完全对称的自动编码器形式。对于节点特征的重构，编码器采用拉普拉斯平滑、解码器使用拉普拉斯锐化，使得所提出的自编码器体系结构的整个过程都可以利用图结构。为了防止引入拉普拉斯锐化引起的网络数值不稳定性，我们进一步提出了一种引入符号图的拉普拉斯锐化新的数值稳定形式。

---

Introduction

近年来，一个名为几何深度学习的新兴领域将深度神经网络模型推广到网格、流形和图形等非欧几里德域。其中，利用自动编码框架寻找图形几何结构的深层潜在表示正受到越来越多的关注。

1. 第一个尝试是VGAE，它由图卷积网络(GCN)编码器和矩阵外积解码器组成，如图1 (a)所示。

2. 随后，提出MGAE，采用线性激活函数的单层堆叠图自编码器和边缘化过程，如图1 (b)所示。但由于MGAE重构的节点特征矩阵没有隐含层，因此无法对隐含表示的维数进行操作，只能进行线性映射。这是一个明显的限制，在寻找一个潜在的表示，清楚地显示图的结构。

3. 为了克服现有图卷积自动编码器的局限性，本文提出了一种新颖的图卷积自动编码器框架，该框架具有对称自动编码器架构，在编码和解码过程中均使用图和节点属性，如图1 (c)所示。

---

编码器（拉普拉斯平滑）

拉普拉斯平滑是一种计算输入的新表示为其邻居和自身的加权局部平均的过程。当我们在节点上添加一个自循环时，邻接矩阵变成𝐴`=𝐴+𝐼𝑛，度矩阵变成𝐷`=𝐷+𝐼𝑛。那么，得到拉普拉斯平滑方程如下:

 我们可以把上面的方程写成如下的矩阵形式:

 若令γ = 1，将𝐿𝑟𝑤`替换为𝐿`，则式(9)化为：

 综上所述，Li等人解释了GCN在半监督节点分类任务中的优越性能是因为Laplacian smoothing，使得同一簇内节点的特征变得相似。

---

解码器（拉普拉斯锐化）

由于编码器执行拉普拉斯平滑，使得每个节点的潜在表示类似于其相邻节点的潜在表示，因此我们设计解码器部分来执行拉普拉斯锐化，作为拉普拉斯平滑的对应部分。

拉普拉斯锐化是一个使每个节点的重建特征远离其相邻节点的质心的过程，它随着重建成本的增加而加快重建速度，并受以下因素的控制：

 式（10）的矩阵形式如下所示：

 

与编码器类似，我们将γ设置为1，并将𝐿𝑟𝑤替换为L。 与式（3）类似，我们可以用切比雪夫多项式的形式表示拉普拉斯锐化，对其进行简化。然后，解码器层可以表示为:

 由于2𝐼𝑛 −𝐷−12 𝐴𝐷−12 的谱域半径是3，重复使用此运算符可能会导致数值不稳定。 因此，当GCN找到Chebyshev多项式的数值稳定形式时，我们必须在保持其含义的同时找到拉普拉斯锐化的数值稳定形式。

数值稳定的拉普拉斯锐化：