论文阅读《Deep Graph Infomax（DGI）》

---

论文信息

论文标题：Deep Graph Infomax
论文作者：Petar Veličković, William Fedus, William L. Hamilton, Pietro Liò, Yoshua Bengio, R Devon Hjelm
论文来源：2019，ICLR
论文地址：download
论文代码：download

---

一、Abstract

DGI是一种在图结构数据中以无监督方式学习节点表示的通用方法。DGI依赖于最大化patch representations和相应的high-level summaries of graph之间的互信息，这两者都是使用已建立的图卷积网络体系结构导出的。学习到的patch representations总结了围绕感兴趣节点的子图，因此可以用于下游节点学习任务。与以往使用GCN进行无监督学习的大多数方法相比，DGI不依赖于随机行走目标，并且很容易适用于transductive learning和inductive learning设置。

二、DGI

（一）基于图的无监督学习

目标是学习编码器，$\mathcal{E}:{\mathbb{R}}^{N\times F}\times {\mathbb{R}}^{N\times N}\to {\mathbb{R}}^{N\times F^{\prime }}$，使得$\mathcal{E}(\mathbf{X},\mathbf{A})=\mathbf{H}=\left\{{\vec{h}}_1,{\vec{h}}_2,\dots ,{\vec{h}}_N\right\}$表示hige-level representations,${\vec{h}}_i\in {\mathbb{R}}^{F^{\prime }}$表示第i个节点。然后可以检索这些表示并用于下游任务，例如节点分类。
在这里，我们将重点关注图卷积编码器——一种灵活的节点嵌入体系结构，它通过在局部节点邻域上重复聚合来生成节点表示。一个关键的结果是，生成的节点嵌入${\vec{h}}_i$总结了一个以节点i为中心的图块，而不仅仅是节点本身。以下内容将${\vec{h}}_i$cheng称为patch representations。

（二）局部-全局互信息最大化

我们学习编码器的方法依赖于最大化局部互信息，也就是说，我们寻求获得节点（即局部）表示，以捕获整个图的全局信息内容，由summary vector，$\vec{s}$ 表示。
为了获得graph-level summary vectors,$\vec{s}$，我们利用读出函数$\mathcal{R}:{\mathbb{R}}^{N\times F}\to {\mathbb{R}}^F$，并使用它将获得的patch representations汇总为graph-level representation；$i.e.,\vec{s}=\mathcal{R}\left(\mathcal{E}\left(X,A\right)\right)$。

作为最大化局部互信息的代理，我们使用了一个鉴别器$\mathcal{D}:{\mathbb{R}}^F\times {\mathbb{R}}^F\to \mathbb{R}$ 这样，$\mathcal{D}\left({\vec{h}}_i,\vec{s}\right)$代表分配给该patch-summary pair的概率分数（对于summary中包含的patches，概率分数应该更高）。

Negative samples for $\mathcal{D}$是：summary $\vec{s}$ from $(X,A)$和patch representations ${\overrightarrow{\tilde{h}}}_j$ from $(\tilde{\mathbf{X}},\tilde{\mathbf{A}})$。

目标函数：
$$\mathcal{L}=\frac{1}{N+M}\left(\sum _{i=1}^N{\mathbb{E}}_{(\mathbf{X},\mathbf{A})}\left[\log \mathcal{D}\left({\vec{h}}_i,\vec{s}\right)\right]+\sum _{j=1}^M{\mathbb{E}}_{(\tilde{\mathbf{X}},\tilde{\mathbf{A}})}\left[\log \left(1-\mathcal{D}\left({\overrightarrow{\tilde{h}}}_j,\vec{s}\right)\right)\right]\right)$$
最大化${\vec{h}}_i$和$\vec{s}$之间的互信息。

对于节点分类，我们的目标是让patches在整个图中建立到类似patches的链接，而不是强制summary包含所有这些相似性（然而，原则上这两种影响应同时发生）。

（三）Overview of DGI

假设输入为单图$(X,A)$,DGI过程的步骤可总结如下：