community detection：VGAER论文学习笔记

VGAER（非概率版本为GAER）

本文创新：

1. modularity index Q（模块化参数Q）
2. Variational Graph AutoEncoder （变分图自编码）
3. Reconstruction（重构模块化矩阵B）

通过将高阶模块信息与网络特征相融合

B+A+X而不是A+X

VGAE：重构的是邻接矩阵A

VGAER：重构的是模块化矩阵B（更加合理，使得划分更加明显，更优秀）

对比如下图：

A: network structure(在通过消息传递阶段，被隐式捕获，而不是被特地的重构)（adjacent matrix A）

X: node features

B: modularity matrix

1、Modularity Maximization

思想：社群内的连接密度应该大于随机网络的连接密度。即如果两点属于同一个社群，这两点更倾向于有连接。同一社群连接越多，Q越大，模块化越好。

Q：the modularity index（模块化指数）

M：the total number of edges of the network（连接总数）

aij：the adjacency matrix element（邻接矩阵的i行j列值）

ki：该点的度数

Zij：若i、j属于同一个社区划分则为1，否则为0

2，Reconstruction

定义modularity matrix B = [bij ]as

引入矩阵Z = [zij ] ∈ R N×K，zi是社群成员向量，K表示社群成员向量的维度

Zij=1表示第i个节点属于第j个社区。

公式1可被简化为： 

引入ZTZ作为常数N来relax这个问题。

根据瑞利熵，我们知道了在relaxation condition下的模块化程度最大化问题的解决方案Z是：模块化程度矩阵B的前K个最大特征向量。

根据矩阵重构理论，模块化最大化和模块化矩阵重构是等价的。

3、The model

1. 编码器又被称为Inference model，即推理模型（和VGAE一致）

节点表示向量的后验概率分布：

q（zi | B,A）：a variational approximation of node i’s true posterior distribution based on Gaussian family

然后，我们使用两个图神经网络µ=GCNµ（B，A）和log σ = GCNσ（B，A）作为编码器，以拟合节点i的平均向量µ和标准差向量σ。高斯分布的均值和方差由两个GCN确定。

有了均值和方差后，我们就能唯一地确定一个多维高斯分布，然后从中进行采样以得到节点的向量表示Z，也就是说，通过两个GCN我们得到了所有节点向量的均值和方差，然后再从中采样形成节点向量。其中GCN服从下列同一形式。

W0和W1代表第一层和第二次的权值矩阵，W0在GCNσ和GCNµ之间共享。

1. 解码器又被称为Generative model，即生成模型（和VGAE不一致）

设计了基于交叉熵的点积解码器去重建模块化分布。分为两部分，分层与原始一致的概率，和不一致的概率再使用VGAE的重新权重方法。

与VGAE不一致的地方：

4、Optimization

根据VAE论文，变分下界L（φ，θ）需要最大化以使得Q最大：

第一部分：重构损失，从Z推出B的可能性，越大表示q越接近真实分布P，越大越好。

第二部分：第二部分表示利用GCN得到的分布q与标准高斯分布p(Z)间的KL散度，也就是要求分布q尽量与标准高斯分布相似，越相似，该部分值越小。

对公式9取log：

我们可以从交叉熵的角度理解上述式子

交叉熵公式：

式子14构造了关于输入的真实分布和点积重构分布的负交叉熵。使它最大化等价于最小化两个分布的距离，等于减小重构损失。

VGAE的相关知识

µ = GCNµ(X, A) is the matrix of mean vectors µi 

VAE的相关知识

The generative model (encoder)

variational approximation (decoder)

µ和σ是x和变分参数φ的简单函数，   µ and σ are simply functions of x and the variational parameters φ