论文 | 图理论 | 2020年明尼苏达大学博士论文《学习强大的深度图神经网络和嵌入》

原创 Saurabh Verma 图科学实验室Graph Science Lab 2022-06-25 00:00 发表于台湾
在这里插入图片描述

学习强大的数据嵌入最近已成为机器学习算法的核心，尤其是在自然语言处理和计算机视觉领域。在图领域中，学习图嵌入的应用非常广泛，并且在生物信息学、化学信息学、社交网络和推荐系统等多跨领域中具有独特的用例。迄今为止，图仍然是可以表示多种形式的现实世界数据集的最基本的数据结构。然而，由于其丰富而复杂的数据结构，图在打造强大的图嵌入方面提出了重大挑战。即使是标准的深度学习技术，如循环神经网络 (RNN) 或卷积神经网络 (CNN)，也不足以对超出 1D 单词序列或 2D 图像像素网格数据进行操作，因此无法推广到任意图结构。最近，已经提出了图神经网络（GNN）来缓解这些限制，但目前的状态在理论和应用上都远未成熟。

为此，本论文旨在开发强大的图嵌入模型，以解决图上各种现实世界问题。我们研究了设计图嵌入的一些主要方法，即 Graph Kernel 或 Spectrum 和 GNN。我们揭露并解决了它们的一些基本弱点，并贡献了几个新颖的最先进的图嵌入模型。这些模型可以在解决图上的许多实际问题方面取得卓越的性能，例如节点分类、图分类或现有方法的链接预测，并且具有理想的理论保证。我们首先研究 Graph Kernel 或 Spectrum 方法在唯一性、稳定性、稀疏性和计算效率方面产生强大图嵌入的能力。其次，我们提出了图胶囊神经网络，与现有的 GNN 相比，它可以通过捕获更多编码在图结构中的信息来产生强大的图嵌入。第三，我们设计了第一个通用且可迁移的 GNN，从而使图域中的迁移学习成为可能。特别是使用这种特殊的 GNN，图嵌入可以在不同的模型和域之间共享和迁移，从而获得迁移学习的巨大好处。最后，缺乏对 GNN 模型的理论探索，例如它们的泛化特性。我们通过分析 GNN 模型的稳定性并推导它们的泛化保证，迈出了对 GNN 模型更深入的理论理解的第一步。据我们所知，我们是第一个在半监督环境中研究图学习的稳定性界限并为 GNN 模型推导出相关泛化界限的人。

总之，这篇论文贡献了几个最先进的图嵌入和新颖的图论，特别是

(i) 强大的图嵌入，称为图谱距离族 (Fgsd)

(ii) 信息丰富的 GNN，称为图胶囊神经网络 (GCAPS)

(iii) 通用可迁移的 GNN 称为深度通用可迁移的图神经网络(Dugnn)

(iv) GNN 的稳定性理论和泛化保证。

在这里插入图片描述