论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读 第一章 引言

图科学实验室Graph Science Lab 2022-05-10 00:35

封面

下载：

https://stacks.stanford.edu/file/druid:mz469rn9516/PhD_thesis_final_Jiaxuan-augmented.pdf

第一章 介绍

1.1 动机

在大数据时代，深度学习已经成为从数据中挖掘价值的主要工具。例如，深度学习为人脸识别(使用图像数据)、机器翻译(使用文本数据)和语音识别(使用音频数据)等关键应用程序提供了强大的功能。与传统的机器学习技术相比，深度学习代表了一种基于大规模数据集的自动化学习模式。此外，深度学习得益于指数级增长的计算资源和网络规模的数据收集。由于这些原因，深度学习在研究和行业中得到了广泛的普及。

现代深度学习模型主要是为文本和图像等规则结构数据设计的。例如，递归神经网络(rnn)[38,88]和变压器[228]设计用于具有确定性排序的序列数据，卷积神经网络(CNNs)[84,120]设计用于网格类数据。数据规律性的假设不仅导致了专门的高性能深度学习架构，而且简化了深度学习管道的软硬件实现，这有助于深度学习的成功。

然而，并不是所有形式的数据都是规则结构的。在本文中，我们特别关注图结构数据。图是一种通用的、功能强大的数据结构，它以简洁的形式表示实体及其关系。图结构数据在自然科学和社会科学中无处不在。例如，一个分子可以表示为一个图，其中原子是节点，化学键是边，一个社交网络可以表示为一个图，其中成员是节点，他们的友谊关系是边。尽管图结构数据无处不在，但它给深度学习模型带来了独特的挑战，总结如下:

复杂的拓扑结构。图中的节点可以任意地相互连接;因此，深度学习模型必须适应输入数据的形状/结构。此外，所有可能图的空间是巨大的，因为有
个具有n个节点的可能简单图;因此，将图映射到有意义的低维嵌入是极具挑战性的。

Non-i.i.d。大自然。由于给定节点的语义意义取决于它与整个图的连通性，因此我们不能将不同的节点视为i.i.d.分布的。因此，深度学习中广泛采用的标准随机梯度下降优化方法不能直接作用于图（对于图级任务，可以直接使用随机梯度下降法。在这里，整个图被视为单个数据点，通常假设为i.i.d）。

排列不变的性质。图是一个无序的数据对象，它要求所有的深度学习算子对节点的排序不变量。

在本文中，我们的目标是用图结构数据增强深度学习。我们的愿景是为图形结构数据构建一个表达性强、使用方便的深度学习框架。我们希望这样一个框架可以将深度学习在规则结构化数据上的成功转化为图结构数据，图结构数据代表了更通用、更灵活的数据格式。同时，我们将展示一个成功的图的深度学习框架，进而推动深度学习研究的总体进展。为了实现这些目标，我们建议赋予深度学习框架以能力，使其能够将图作为输入、输出和先验。图1.1总结了三个研究方向。

1. 图形作为输入。我们开发了富有表现力和有效的深度学习方法，可以将图形作为输入，促进图形的学习和理解。

2. 作为输出的图形。我们使用深度学习模型阐明图的生成过程，这促进了图的发现和设计。

3. 图作为先验。我们发现图结构可以作为神经结构和机器学习任务的强大先验，这为深度学习的设计和理解开辟了一个新的方向。

1.2 图的机器学习概述

我们将图上的学习任务分为节点级、边级和图级，如图1.2所示。具体来说，节点级任务的例子包括预测蛋白质功能[39]和分类研究论文[116];边缘级任务的例子有推荐系统[263]、预测药物副作用[289]和检测欺诈交易[187];子图级任务图级任务是在设计药物分子[270]和预测蛋白质的三维结构[106]时出现的。

用机器学习解决这些图上的学习任务已经有很长的历史了。传统上，研究人员首先为给定的图定义合适的特征表示，然后应用经典的机器学习模型，如随机森林[86]、核方法[201]和支持向量机[40]。在这里，图通常通过图理论中的节点/边/图级的统计/度量来表示。例如，常用的节点级特征包括节点度、聚类系数[89]或节点中心性[10];节点之间的最短路径距离和邻域重叠是有效的边缘级特征;示例图级特性包括graphlet计数[203]和随机游走统计[234]。虽然经典的图机器学习技术是有效的，但它们通常需要大量的手工工程;通常，人们会提出专门的模型来学习不同类型的图。此外，这些模型关注于表示结构信息，但它们通常不能利用真实图中丰富的特征信息。

本文主要研究图的深度学习管道，如图1.3所示。为了解决不同的任务，图机器学习模型首先通过深度学习模型，如图神经网络(GNN)，将输入图中的节点编码到低维嵌入空间。然后，不同的预测头使用这些节点嵌入来进行节点/边/图级别的预测。通过将预测结果与ground truth标签进行比较，系统执行标准的反向传播算法来更新深度学习模型。

1.3 论文大纲

本文讨论了如何利用图来增强深度学习的能力，包括三个部分:第一部分:通过深度学习从图中学习，第二部分:通过深度学习生成图，第三部分:作为深度学习的先验图。

第一部分着重于构建一个可以从图中学习的深度学习框架。我们表明，我们的框架是实际有用的和理论上的表达。

在第二章中，我们系统地探讨了GNNs的设计原则。此外，我们还提出了一个GNN任务空间，使性能最好的GNNs可以在任务之间传递。最后，我们发布了GraphGym，这是一个用于设计和评估GNNs的强大代码平台。这一章已在我们的著作中发表[275]。

在第三章中，我们指出了现有GNNs的局限性，提出了一种新的位置感知GNNs (Position-aware GNNs, P-GNNs)，它可以捕获节点在整个图上的位置信息。我们发现P-GNNs在位置感知任务上比GNNs更具表达能力。本章以我们的工作为基础[274]。

在第四章中，我们开发了识别身份的GNNs (ID-GNNs)，这是第一类比1-WL测试更具表达能力的消息传递GNN。ID-GNNs在节点/边缘/图级的预测任务中明显优于GNN。本章以我们的工作为基础[268]。

第二部分着重于开发图表的深层生成模型。考虑到图的复杂拓扑结构，生成真实的图是一项非常具有挑战性的任务。我们证明了图生成任务在网络科学和药物发现中有广泛的应用。

在第五章中，我们重点研究了真实图的生成。我们提出GraphRNN，这是最早的图的深度生成模型之一。我们的问题制定和评估协议已经成为图生成模型的标准设置。本章来源于我们的工作[276]。

在第六章中，我们定义了目标方向图生成的任务。我们提出了第一个基于强化学习的图生成模型——图卷积策略网络(GCPN)。GCPN可用于生成具有高药物相似性的分子图。本章来源于我们的工作[270]。

第三部分讨论了图如何作为深度学习的一般先验。一个完整的深度学习流程包括三个关键阶段:处理输入数据、设计神经体系结构和定义适当的任务/标签。我们表明，图可以作为三个阶段中的每个阶段的先验。

在第7章中，我们展示了稀疏图可以作为深度学习架构的结构先验。我们首次系统地研究了神经网络的图结构如何影响其预测性能。我们发现，好的神经网络在图结构上惊人地都是相似的。本章以我们的工作为基础[269]。

在第8章中，我们演示了图形可以用来表示机器学习任务的输入数据，这在输入数据有缺失值时特别有用。我们提出了一种通用框架GRAPE，用于缺失数据下的特征估算和标签预测。本章以我们的工作为基础[269]。

在第9章中，我们讨论了图可以为机器学习任务和输入数据之间的交互建模，这可以用于不同的多任务学习设置。

最后, 我们总结并讨论第十章的未来方向。

1.4 贡献

本文主要贡献如下:

我们发现了广泛采用的GNNs的核心局限性，并在理论上提出了更具有表达能力的图的深度学习模型。

我们演示了GNNs架构设计的重要性，并发布了一个开源平台GraphGym，它极大地促进了GNNs的设计和评估。

我们开创了为图表构建深层生成模型的先行者。我们的问题制定和评估协议已经成为图生成模型的标准设置。

我们揭示了稀疏图结构与神经网络性能之间的联系。我们的工作为神经结构设计提供了网络科学的视角，并启发了稀疏变压器的研究[12,278]。

我们展示了重要的机器学习问题，如缺失数据的归因和多任务学习，可以统一为图学习任务，并极大地受益于图学习技术。

目录

阅读原文