[Datawhale][CS224W]图神经网络(八)

最新推荐文章于 2023-03-03 00:35:41 发布

wumo_rfr

最新推荐文章于 2023-03-03 00:35:41 发布

阅读量574

点赞数

本文链接：https://blog.csdn.net/weixin_45856170/article/details/129309195

版权

Datawhale CS224W 图神经网络专栏收录该内容

8 篇文章 5 订阅

订阅专栏

一、图神经网络

图神经网络，顾名思义，是一种可以直接应用于图的神经网络。它为节点级、边级和图级预测任务提供了一种方便的方法。

1.1 为什么卷积神经网络 (CNN) 在图形上失败？

CNN 可用于使机器可视化事物，并执行图像分类、图像识别或对象检测等任务。这是 CNN 最受欢迎的地方。

CNN 背后的核心概念引入了隐藏的卷积层和池化层，以通过一组内核形式的感受野来识别空间局部特征。

卷积神经网络

图像上的 CNN | 来源

卷积如何对规则网格的图像进行操作？我们在二维图像上滑动卷积运算符窗口，然后在该滑动窗口上计算一些函数。然后，我们将它传递给许多层。

我们的目标是将卷积的概念推广到这些简单的二维格之外。

使我们能够达到目标的洞察力是卷积采用图像的一个小子块（图像的一个小矩形部分），对其应用一个函数，并产生一个新部分（一个新像素）。

发生的事情是该中心像素的中心节点聚合来自其邻居以及来自其自身的信息以产生新值。

由于图的任意大小和复杂的拓扑结构，这意味着没有空间局部性，因此很难在图上执行 CNN。

还有不固定的节点顺序。如果我们第一次将节点标记为A、B、C、D、E，第二次标记为B、D、A、E、C，那么网络中矩阵的输入就会发生变化。图对于节点排序是不变的，因此无论我们如何对节点进行排序，我们都希望获得相同的结果。

1.2 一个GNN网络的结构如图：

二、GNN的原理

①聚合

GNN的输入一般是每个节点的起始特征向量和表示节点间关系的邻接矩阵。而所谓的聚合，其实就是将周边与节点Vi有关联的节点{V a, V b, . . . }加权到Vi上，当作一次特征更新。

②更新
根据聚合得到的数据，更新所有图节点的特征，同理，对图中的每个节点进行聚合操作，更新所有图节点的特征。

③循环
一次图节点聚合操作与 w加权，可以理解为一层，后面再重复进行聚合、加权，就是多层迭代了。一般GNN只要3~5层即可，所以训练GNN对算力要求很低。

三、图神经网络实现的两种方式

基于空间的：定义指定感受野的滤波器（filter）在图上进行滑动
- 与普通的神经网络有很强的类比性，易于理解
- 需要定义邻居系统和节点顺序->不直观
基于频域（谱）的：利用傅里叶变换，即时域卷积为频域点乘
- 不需要定义邻居系统和节点顺序，易于理解
- 有体系化的公式可用
- 可以获得严格局部化的滤波器
- 无法在不同的图结构间迁移

四、GNNs 应用概述

应用	深度学习	描述
文本分类	图卷积网络/图注意力网络	GNN 在 NLP 中的一个经典应用是文本分类。GNN 利用文档或单词的相互关系来推断文档标签。GCN 和 GAT 模型用于解决此任务。他们将文本转换为词图，然后使用图卷积操作对词图进行卷积。他们通过实验表明，文本的词图表示具有捕获非连续和长距离语义的优势
神经机器翻译	图卷积网络/门控图神经网络	神经机器翻译 (NMT) 被认为是序列到序列的任务。GNN 的常见应用之一是将语义信息合并到 NMT 任务中。为此，我们在语法感知 NMT 任务上使用语法 GCN。我们也可以在 NMT 中使用 GGNN。它通过将边变成额外的节点，将句法依赖图转换成新的结构，因此边标签可以表示为嵌入
关系抽取	Graph LSTM/图卷积网络	关系提取是从文本中提取语义关系的任务，通常发生在两个或多个实体之间。传统系统将此任务视为两个独立任务的管道，即命名实体识别 (NER) 和关系提取，但新的研究表明，实体和关系的端到端建模对于高性能很重要，因为关系与实体信息
图片分类	图卷积网络/门控图神经网络	图像分类是一项基本的计算机视觉任务。当给定大量标记类别的训练集时，大多数模型都会提供有吸引力的结果。现在的重点是让这些模型在零样本和少样本学习任务上表现良好。为此，GNN 显得很有吸引力。知识图可以提供必要的信息来指导 ZSL（零样本学习）任务
物体检测、交互检测、区域分类、语义分割	图注意力网络、Graph神经网络、Graph CNN、Graph LSTM/门控图神经网络/图CNN/图神经网络	计算机视觉任务还有其他应用，如对象检测、交互检测和区域分类。在目标检测中，GNN 用于计算 RoI 特征；在交互检测中，GNN 是人与物之间的消息传递工具；在区域分类中，GNN 对连接区域和类的图进行推理
物理	图神经网络/图网络	对真实世界的物理系统建模是理解人类智能的最基本方面之一。通过将对象表示为节点，将关系表示为边，我们可以有效地对对象、关系和物理进行基于 GNN 的推理。可以训练交互网络来推理复杂物理系统中对象的交互。它可以对碰撞动力学等领域的各种系统特性进行预测和推断
分子指纹	图卷积网络	分子指纹是代表分子的特征向量。ML 模型通过从使用固定长度指纹作为输入的示例分子中学习来预测新分子的特性。GNN 可以取代传统方法，传统方法给出分子的固定编码，以生成可区分的指纹，以适应它们所需的任务
蛋白质界面预测	图卷积网络	对于药物发现中的重要应用，这是一个具有挑战性的问题。所提出的基于 GCN 的方法分别学习配体和受体蛋白质残基表示并将它们合并以进行成对分类。在分子水平上，边缘可以是分子中原子之间的键或蛋白质中氨基酸残基之间的相互作用。在大范围内，图表可以表示更复杂的结构（例如蛋白质、mRNA 或代谢物）之间的相互作用
组合优化	图卷积网络/图神经网络/图注意力网络	组合优化 (CO) 是一个主题，包括从有限的对象集中寻找最佳对象。它是金融、物流、能源、科学和硬件设计中许多重要应用程序的基础。大多数 CO 问题都是用图形表示的。在 DeepMind 和谷歌最近的一项工作中，图形网络用于 MILP 求解器中涉及的两个关键子任务：联合变量分配和限制目标值。他们的神经网络方法比大数据集上的现有求解器更快
图生成	图卷积网络/图神经网络/LSTM/RNN/关系-GCN	现实世界图的生成模型因其重要应用而引起了极大的关注，这些应用包括建模社会交互、发现新的化学结构和构建知识图。基于 GNN 的模型独立学习每个图的节点嵌入，并使用注意力机制匹配它们。与标准的基于松弛的技术相比，该方法提供了良好的性能