Adaptive Graph Encoder for Attributed Graph Embedding论文笔记

Adaptive Graph Encoder for Attributed Graph Embedding 属性图嵌入的自适应图自动编码器 -KDD 2020

论文：paper
源码：code

高频是噪声？ 原图-低频=高频
高通就是保留高频数据
低通就是保留低频数据

基于GCN的方法有三个主要的缺点：
1.图卷积滤波器和权重矩阵的纠缠？将损害性能和鲁棒性
2.广义拉普拉斯平滑滤波器并不能保持最优的低通特性
3.现有算法的目标多是重建邻接矩阵或特征矩阵， 这并不总是与现实世界的应用程序一致

–作者提出自适应图编码器（AGE）
（1）设计无参数的拉普拉斯平滑滤波器（2）使用自适应的编码器迭代加强滤波后的特征，完成嵌入（不使用解码器重建，而自适应地挑选正负对）

对于缺乏标签信息的无监督图嵌入，基于GCN的方法可以按其优化目标分为两组：
（1）重建邻接矩阵，迫使学习到的嵌入可以恢复其局部邻居的结构 （2）重建特征矩阵

AGE算法：
图为G=(V,E,X),v是节点集，E是边集，X是特征矩阵，D是对角度矩阵，图Laplacian矩阵定义为L=D-A，Z表示嵌入矩阵。
（1）设计图滤波器对特征进行拉普拉斯平滑
设计滤波器H作为低通滤波器，对特征矩阵X的高频分量进行去噪。将平滑后的特征矩阵X~作为自适应编码器的输入

图学习的基本假设是图上的邻近节点应该是相似的，因此节点特征在图流形上应该是平滑的。
从图信号处理解释平滑： x ∈ Rn 是一个图信号，滤波器矩阵是H，Rayleigh quotient衡量图信号x的平滑度，实际上是x的归一化方差得分

平滑信号应该是相邻节点分配更相似的值，因此拥有较低熵的信号应该更平滑。
拉普拉斯矩阵分解L=UΛU-1，U ∈ Rnxn是特征向量，Λ=diag(λ1, λ2, · · · , λn)是特征值矩阵，特征向量ui的平滑度则为：

平滑的特征向量总是和较小的特征值联系在一起，也就意味着更低的频率？
在L的基础上分解x

则x的平滑度为：

我们设计的滤波器的目标是去除高频分量，同时保持低频分量。使用拉普拉斯平滑滤波器。
通用的拉普拉斯滤波器为：其中H为滤波器

滤波后的x~为：

为了获得低通滤波，频率响应函数1-kλ应该是递减且非负的。
堆叠t个拉普拉斯平滑滤波器（完全非参数的），得到滤波后的X~为：

k的选择：

A~=I+A 使用对称归一化图拉普拉斯矩阵
则滤波器为：

若k=1,滤波器则为GCN滤波器。
是最佳的，在实验当中，为每一个数据集计算λmax，由此得到k。

（2）自适应编码
通过自适应地选择高度相似或不同的节点对来构建训练集，然后对编码器进行监督训练
节点嵌入式由线性编码器编码的：

，其中W是权重矩阵。
使用余弦相似性衡量两个节点的相似度：（初始S直接使用滤波后的X~）

计算相似矩阵后，将成对相似序列按降序排列，rij为节点对（vi,vj）的排序，设置正样本对的排名阈值为rpos，负样本对的排名阈值为rneg,则节点对（vi,vj）的标签为：

则正样本对的数量为rpos,负样本对的数量为n2-rneg。在这里使用有监督的方式训练，损失函数为：（使得节点嵌入相似节点更相似）

两个阈值的更新策略：随着训练进程，rpos会减小，rneg增大，设置开始阈值和结束阈值，更新策略为：

伪代码：

input：邻接矩阵A，特征矩阵X，滤波器数量t，迭代最大次数max_iter和阈值更新时间T
output：节点嵌入矩阵Z
1.获得图Laplacian矩阵L~sysm(L~sysm=D-1/2 L D-1/2,L=D-A)
2.计算数据集λmax,得到参数k（k=1/λmax）
3.得到滤波器H（H=I-kL）
4.得到滤波后的X~（X~=HtX）
5.初始化相似度矩阵S和训练集O
6.开始迭代直到最大迭代次数：
7.       计算节点嵌入Z
8.       使用损失函数训练自适应编码器
9.       如果迭代次数 mod (最大迭代次数/T) ==0:
10.            更新两个阈值
11.            计算相似度矩阵S
12.            根据矩阵S选择训练集 

总结：这篇论文的理论部分没有太懂，这算是我第一篇GCN方面的论文。我理解的算法过程是对特征进行平滑->在平滑后的特征上计算相似度->自适应构建训练集以有监督的方式训练。