论文解读（GMI）《Graph Representation Learning via Graphical Mutual Information Maximization》

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475

Paper Information

论文作者：Zhen Peng、Wenbing Huang、Minnan Luo、Q. Zheng、Yu Rong、Tingyang Xu、Junzhou Huang论文来源：WWW 2020论文地址：download代码地址：download

前言

1、自监督学习（Self-supervised）：属于无监督学习，其核心是自动为数据打标签（伪标签或其他角度的可信标签，包括图像的旋转、分块等等），通过让网络按照既定的规则，对数据打出正确的标签来更好地进行特征表示，从而应用于各种下游任务。

2、互信息（Mutual Information）：表示两个变量 XXX 和 YYY 之间的关系，定义为：

I(X;Y)=∑x∈X∑y∈Yp(x,y)logp(x∣y)p(x)I(X;Y)=∑x∈X∑y∈Yp(x,y)log⁡p(x∣y)p(x)I(X ; Y)=\sum\limits_{x \in X} \sum\limits _{y \in Y} p(x, y) \log \frac{p(x \mid y)}{p(x)}

可以解释为由 XXX 引入而使 YYY 的不确定度减小的量， I(X;Y)I(X;Y)I(X ; Y) 越大说明两者关系越密切。

3、噪声对抗估计 (Noise Contrastive Estimation, NCE) ：在 NLP 任务中一种降低计算复杂度的 方法，将语言模型估计问题简化为一个二分类问题。

Abstract

本文研究了如何以无监督的方式将图形结构数据中的丰富信息保存并提取到嵌入空间中。

Graphical Mutual Information (GMI) 用于测量输入图和高级隐藏表示之间的相关性。

在 GMI 的帮助下，我们开发了一个无监督的学习模型，通过最大化图神经编码器的输入和输出之间的 GMI 来进行训练。

1 Introduction

Deep Graph Infomax (DGI) ，通过最大化图级别表示向量和隐藏表示互信息之间的互信息【全局和局部信息之间的互信息】，来区分 Positive graph 和 Negative graph 。其存在的问题是：获取图级别表示的 Readout 函数常常是单设的，但是 Readout 的单设性能会受到参数训练方式的影响，这表明 Readout 函数在某些情况下会变成非单射。当 Readout 函数非单射时，图表示中包含的输入图信息将随着输入图的大小增大而减小【一对多造成】。

接着，本文提出了一种直接的方法来考虑图结构方面的 MIMI\text{MI}，而不使用任何 Readout 函数和 corruption function，作者通过比较编码器的输入（即由输入邻域组成的子图）和输出（即每个节点的隐藏表示），直接推导出 MIMI\text{MI}。[ 改进 ]

作者理论推导表明，直接导出的 MIMI\text{MI} 可以分解为每个邻居特征和隐藏向量之间的局部 MIMI\text{MI} 的加权和。这样，我们对输入特征进行了分解，使 MIMI\text{MI} 计算易于处理。此外，如果我们调整权值，这种形式的 MIMI\text{MI} 可以很容易地满足对称性质。由于上述 MIMI\text{MI} 主要是在节点特征级别上测量的，作者称之为特征互信息（FMI）。

关于上述提到的 FMIFMI\text{FMI} ，存在着两个问题：

• • 组合的权重仍然未知；
    • 没有考虑到拓扑结构（即边缘特性）；

为解决这两个问题，作者定义了基于 FMIFMI\text{FMI} 提出了 Graphical Mutual Information（GMI），GMI 将 FMIFMI\text{FMI} 中的权重设置为表示空间中每个邻居和目标节点之间的距离。为了保留拓扑信息，GMI 通过一个额外的互信息项进一步将这些权值与输入的边缘特征相关联。

2 Related work

2.1 Mutual information estimation

如 1995 年的 InfoMax原则一样，主张最大化神经网络的输入和输出之间的 MIMI\text{MI}。

论文参考类型 1、2。

2.2 Neural networks for graph representation learning

论文参考类型3、4、5、6。

3 Graphical mutual information:definition and maximization

图GG\mathcal{G}：G={V,E}G={V,E}\mathcal{G}={\mathcal{V}, \mathcal{E}} ， vi∈Vvi∈Vv_{i} \in \mathcal{V} ， eij=(vi,vj)∈Eeij=(vi,vj)∈Ee_{i j}=\left(v_{i}, v_{j}\right) \in \mathcal{E}

假设节点特征服从经验概率分布 PP \mathbb{P} ，由 X∈RN×D={x1,…,xN}X∈RN×D={x1,…,xN}\boldsymbol{X} \in \mathbb{R}^{N \times D}=\left{\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{N}\right} 给出，其中 xi∈RDxi∈RD\boldsymbol{x}_{i} \in \mathbb{R}^{D} 表示节点 viviv_{i} 的特征。

邻接矩阵 A∈RN×NA∈RN×N\boldsymbol{A} \in \mathbb{R}^{N \times N} 表示连接关系 ，与边 eijeije_{i j} 对应的 AijAijA_{i j} 可以是实数，也可以是多维向量。

图表示学习目标是根据输入的特征矩阵和邻接矩阵学习一个能获得潜在表示的编码器  f:RN×D×RN×N→RN×D′f:RN×D×RN×N→RN×D′f: \mathbb{R}^{N \times D} \times \mathbb{R}^{N \times N} \rightarrow \mathbb{R}^{N \times D^{\prime}} ，这样潜在向量  H={h1,⋯,hN}=f(X,A)H={h1,⋯,hN}=f(X,A)\boldsymbol{H}=\left{\boldsymbol{h}_{1}, \cd