图神经网络-01基础-图与图学习
图是什么
图的定义
图表示物件与物件之间的关系的数学对象，是图论的基本研究对象。
如下图：
图可用于表示:
- 社交网络
- 网页
- 生物网络
图的基本表示方法
- 图 G=(V, E) 由下列要素构成：
- 一组节点（也称为 verticle）V=1,…,n
- 一组边 E⊆V×V
- 边 (i,j) ∈ E 连接了节点 i 和 j
- i 和 j 被称为相邻节点（neighbor）
- 节点的度（degree）是指相邻节点的数量
-
如果一个图的所有节点都有 n-1 个相邻节点，则该图是完备的（complete）。也就是说所有节点都具备所有可能的连接方式。
-
从 i 到 j 的路径（path）是指从 i 到达 j 的边的序列。该路径的长度（length）等于所经过的边的数量。
-
图的直径（diameter）是指连接任意两个节点的所有最短路径中最长路径的长度。
-
测地路径（geodesic path）是指两个节点之间的最短路径。
-
如果所有节点都可通过某个路径连接到彼此，则它们构成一个连通分支（connected component）。如果一个图仅有一个连通分支，则该图是连通的（connected）
-
如果一个图的边是有顺序的配对，则该图是有向的（directed）。i 的入度（in-degree）是指向 i 的边的数量，出度（out-degree）是远离 i 的边的数量
-
-
如果可以回到一个给定节点，则该图是有环的（cyclic）。相对地，如果至少有一个节点无法回到，则该图就是无环的（acyclic）。
-
图可以被加权（weighted），即在节点或关系上施加权重。
-
如果一个图的边数量相比于节点数量较小，则该图是稀疏的（sparse）。相对地，如果节点之间的边非常多，则该图是密集的（dense）
Neo4J 的关于图算法的书给出了清晰明了的总结：
e.g
空手道俱乐部图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JzubWPbN-1639659392854)(https://i.loli.net/2021/12/02/EM4nSPIU83NfW1A.png)]
这个「空手道」图表示什么？Wayne W. Zachary 在 1970 到 1972 年这三年中研究的一个空手道俱乐部的社交网络。该网络包含了这个空手道俱乐部的 34 个成员，成员对之间的连接表示他们在俱乐部之外也有联系。在研究期间，管理员 JohnA 与教练 Mr.Hi（化名）之间出现了冲突，导致俱乐部一分为二。一半成员围绕 Mr.Hi 形成了一个新的俱乐部，另一半则找了一个新教练或放弃了空手道。基于收集到的数据，除了其中一个成员，Zachary 正确分配了所有成员在分裂之后所进入的分组。
图的存储
存储图的方式有三种，取决于你想用它做什么：
- 存储为边列表：
我们存储有边连接的每一对节点的 ID，例如：
G_karate.edges()
- 使用邻接矩阵，这通常是在内存中加载的方式：
对于图中的每一个可能的配对，如果两个节点有边相连，则设为 1。如果该图是无向图，则 A 是对称的。
- 使用邻接列表：
1 ：[2, 3, 4]
2 ：[1,3]
3 ：[2, 4]
图的类型和性质
有很多分类方式，参考集合论与图论（下）_中国大学MOOC(慕课) (icourse163.org)
应用中常见的一种分类方法，同构图与异构图：
- 同构图与异构图
两个图G和H是同构图（isomorphic graphs），能够通过重新标记图G的顶点而产生图H。
如果G和H同构，那么它们的阶是相同的，它们大小是相同的，它们个顶点的度数也对应相同。
异构图是一个与同构图相对应的新概念。
传统同构图（Homogeneous Graph）数据中只存在一种节点和边，因此在构建图神经网络时所有节点共享同样的模型参数并且拥有同样维度的特征空间。
而异构图（Heterogeneous Graph）中可以存在不只一种节点和边，因此允许不同类型的节点拥有不同维度的特征或属性。
图算法
目前传统框架（比如 Python 的 networkx 或 Neo4J）支持的图算法类别主要有三个：
- Pathfinding（寻路）：根据可用性和质量等条件确定最优路径。搜索算法也包含在这一类别中。这可用于确定最快路由或流量路由。
- Centrality（中心性）：确定网络中节点的重要性。这可用于识别社交网络中有影响力的人或识别网络中潜在的攻击目标。
- Community detection（社群检测）：评估群体聚类的方式。这可用于划分客户或检测欺诈等。
networkx 中的所有算法都可在这里找到：https://networkx.github.io/documentation/stable/reference/algorithms/index.html
1. 寻路和图搜索算法
- 寻路算法是通过最小化跳（hop）的数量来寻找两个节点之间的最短路径。
- 搜索算法不是给出最短路径，而是根据图的相邻情况或深度来探索图。这可用于信息检索。
1). 搜索算法
图搜索算法主要有两种：
- 宽度优先搜索（BFS）：首先探索每个节点的相邻节点，然后探索相邻节点的相邻节点；
- 深度优先搜索（DFS）：会尝试尽可能地深入一条路径，如有可能便访问新的相邻节点。
2). 寻路算法
a. 最短路径
最短路径计算的是一对节点之间的最短的加权（如果图有加权的话）路径。
这可用于确定最优的驾驶方向或社交网络上两个人之间的分离程度。
计算图中的最短路径的方法有很多，包括 Dijkstra 算法，这是 networkx 中的默认算法。
b. 单源最短路径
单源最短路径（Single Source Shortest Path/SSSP）是找到给定节点与图中其它所有节点之间的最短路径。
这常用于 IP 网络的路由协议。
c. 所有配对最短路径
所有配对最短路径（All Pairs Shortest Path / APSP）算法是找到所有节点对之间的最短路径。
尽管能够提供相近的结果，但这比为每个节点对调用单源最短路径算法更快。该算法通常可用于确定交通网格的不同分区的流量负载。
d. 最小权重生成树
最小权重生成树（minimum spanning tree）是图（一个树）的一个子图，其用权重和最小的边连接了图中的所有节点。
注意，最小生成树应该用于无向图。
2. 社群检测
社群检测是根据给定的质量指标将节点划分为多个分组。
这通常可用于识别社交社群、客户行为或网页主题。
**社区是指一组相连节点的集合。**但是，目前关于社群还没有广泛公认的定义，只是社群内的节点应该要密集地相连。
Girvan Newman 算法是一个用于发现社群的常用算法。其通过逐步移除网络内的边来定义社区。我们将居间性称为「边居间性（edge betweenness）」。这是一个正比于穿过该边的节点对之间最短路径的数量的值。
基于GN算法（Girvan-Newman）实现社交网络中社区划分_mxrsunshine的博客-CSDN博客
该算法的步骤如下：
- 计算网络中所有已有边的居间性。
- 移除居间性最高的边。
- 移除该边后，重新计算所有边的居间性。
- 重复步骤 2 和 3，直到不再剩余边。
3. 分层聚类
在分层聚类（hierarchical clustering）中，我们构建聚类的层次结构。我们用树状图的形式表示聚类。
其思想是以不同的规模分析社群结构。我们通常自下而上构建树状图。我们从每个节点一个聚类开始，然后合并两个「最近」的节点。
但我们如何衡量聚类是否相近呢？我们使用相似度距离。令 d(i,j) 为 i 和 j 之间的最短路径的长度。
要得到最大连接，在每个步骤，被最短距离分开的两个聚类被组合到一起。相似度距离可用以下示意图阐释
图机器学习
图学习的主要任务
图学习中包含三种主要的任务：
- 链接预测（Link prediction）
- 节点标记预测（Node labeling）
- 图嵌入（Graph Embedding）
链接预测（Link prediction）
在链接预测中，给定图G，我们的目标是预测新边。例如，当图未被完全观察时，或者当新客户加入平台（例如，新的LinkedIn用户）时，预测未来关系或缺失边是很有用的。
知乎回答：如何理解链接预测（link prediction）
新LinkedIn用户的链接预测只是给出它可能认识的人的建议。
在链路预测中，我们只是尝试在节点对之间建立相似性度量，并链接最相似的节点。现在的问题是识别和计算正确的相似性分数！
相似度分数
我们可以根据它们的邻居为这两个节点建立几个相似度分数。
- 公共邻居： S ( i , j ) = ∣ N ( i ) ∩ N ( j ) ∣ S(i,j) = \mid N(i) \cap N(j) \mid S(i,j)=∣N(i)∩N(j)∣，即公共邻居的数量。在此示例中，分数将为2，因为它们仅共享2个公共邻居。
- Jaccard系数： S ( i , j ) = ∣ N ( i ) ∩ N ( j ) ∣ ∣ N ( i ) ∪ N ( j ) ∣ S(i,j) = \frac { \mid N(i) \cap N(j) \mid } { \mid N(i) \cup N(j) \mid } S(i,j)=∣N(i)∪N(j)∣∣N(i)∩N(j)∣,标准化的共同邻居版本。
- Adamic-Adar指数： S ( i , j ) = ∑ k ∈ N ( i ) ∩ N ( j ) 1 log ∣ N ( k ) ∣ S(i,j) = \sum_{k \in N(i)\cap N(j) } \frac {1} {\log \mid N(k) \mid} S(i,j)=∑k∈N(i)∩N(j)log∣N(k)∣1。 对于节点i和j的每个公共邻居（common neighbor），我们将1除以该节点的邻居总数。这个概念是，当预测两个节点之间的连接时，与少量节点之间共享的元素相比，具有非常大的邻域的公共元素不太重要。
- 优先依附(Preferential attachment)： S ( i , j ) = ∣ N ( i ) ∣ ∗ ∣ N ( j ) ∣ S(i,j) = \mid N(i) \mid * \mid N(j) \mid S(i,j)=∣N(i)∣∗∣N(j)∣
性能指标(Performance metrics)
我们如何进行链接预测的评估？我们必须隐藏节点对的子集，并根据上面定义的规则预测它们的链接。这相当于监督学习中的train/test的划分。
然后，我们评估密集图的正确预测的比例，或者使用稀疏图的标准曲线下的面积(AUC)。
节点标记预测（Node labeling）
给定一个未标记某些节点的图，我们希望对这些节点的标签进行预测。这在某种意义上是一种半监督的学习问题。
处理这些问题的一种常见方法是假设图上有一定的平滑度。平滑度假设指出通过数据上的高密度区域的路径连接的点可能具有相似的标签。这是标签传播算法背后的主要假设。
标签传播算法（Label Propagation Algorithm,LPA）是一种快速算法，仅使用网络结构作为指导来发现图中的社区，而无需任何预定义的目标函数或关于社区的先验信息。
单个标签在密集连接的节点组中迅速占据主导地位，但是在穿过稀疏连接区域时会遇到问题。
半监督标签传播算法是如何工作？
首先，我们有一些数据： x 1 , . . . , x l , x l + 1 , . . . , x n ∈ R p x_1, ..., x_l, x_{l+1}, ..., x_n \in R^p x1,...,xl,xl+1,...,xn∈Rp,，以及前 l l l个点的标签： y 1 , . . . , y l ∈ 1... C y_1, ..., y_l \in 1...C y1,...,yl∈1...C.
我们定义初始标签矩阵 Y ∈ R n × C Y \in R^{n \times C} Y∈Rn×C，如果 x i x_i xi具有标签 y i = j y_i=j yi=j则 Y i j = 1 Y_{ij} = 1 Yij=1，否则为0。
该算法将生成预测矩阵 F ∈ R n × C F \in R^{n \times C} F∈Rn×C，我们将在下面详述。然后，我们通过查找最可能的标签来预测节点的标签：
Y i ^ = a r g m a x j F i , j \hat{Y_i} = argmax_j F_{i,j} Yi^=argmaxjFi,j
预测矩阵 F F F是什么？
预测矩阵是矩阵 F ⋆ F^{\star} F⋆，其最小化平滑度和准确度。因此，我们的结果在平滑性和准确性之间进行权衡。
问题的描述非常复杂，所以不会详细介绍。但是，解决方案是：
F ⋆ = ( ( 1 − α ) I + L s y m ) − 1 Y F^{\star} = ( (1-\alpha)I + L_{sym})^{-1} Y F⋆=((1−α)I+Lsym)−1Y
其中：
- 参数 α = 1 1 + μ \alpha = \frac {1} {1+\mu} α=1+μ1
- Y Y Y是给定的标签
- L s y m L_{sym} Lsym是图的归一化拉普拉斯矩阵（Laplacian matrix）
图神经网络
什么是图神经网络
在过去的几年中，神经网络的兴起与应用成功推动了模式识别和数据挖掘的研究。许多曾经严重依赖于手工提取特征的机器学习任务（如目标检测、机器翻译和语音识别），如今都已被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。
尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功，但许多实际应用场景中的数据是从非欧式空间生成的，传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。例如，在电子商务中，一个基于图（Graph）的学习系统能够利用用户和产品之间的交互来做出非常准确的推荐，但图的复杂性使得现有的深度学习算法在处理时面临着巨大的挑战。这是因为图是不规则的，每个图都有一个大小可变的无序节点，图中的每个节点都有不同数量的相邻节点，导致一些重要的操作（例如卷积）在图像（Image）上很容易计算，但不再适合直接用于图。此外，现有深度学习算法的一个核心假设是数据样本之间彼此独立。然而，对于图来说，情况并非如此，图中的每个数据样本（节点）都会有边与图中其他实数据样本（节点）相关，这些信息可用于捕获实例之间的相互依赖关系。
近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构，由此一个新的研究热点——“图神经网络（Graph Neural Networks，GNN）”应运而生
需要注意的是，图神经网络的研究与图嵌入（对图嵌入不了解的读者可以参考这篇文章《图嵌入综述》）或网络嵌入密切相关，图嵌入或网络嵌入是数据挖掘和机器学习界日益关注的另一个课题。图嵌入旨在通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量，以便使用简单的机器学习算法（例如，支持向量机分类）进行处理。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。
图神经网络划分为五大类别，分别是：图卷积网络（Graph Convolution Networks，GCN）、 图注意力网络（Graph Attention Networks）、图自编码器（ Graph Autoencoders）、图生成网络（ Graph Generative Networks） 和图时空网络（Graph Spatial-temporal Networks）。
图卷积网络（Graph Convolution Networks，GCNs）
图卷积网络将卷积运算从传统数据（例如图像）推广到图数据。其核心思想是学习一个函数映射 f ( . ) f\left(.\right ) f(.) ，通过该映射图中的节点 v i v_{i} vi可以聚合它自己的特征 x i x_{i} xi与它的邻居特征 x j x_{j} xj( j ∈ N ( v i ) j\in N(v_{i}) j∈N(vi)）来生成节点 v i v_{i} vi 的新表示。图卷积网络是许多复杂图神经网络模型的基础，包括基于自动编码器的模型、生成模型和时空网络等。下图直观地展示了图神经网络学习节点表示的步骤。
GCN方法又可以分为两大类，基于谱（spectral-based）和基于空间（spatial-based）。基于谱的方法从图信号处理的角度引入滤波器来定义图卷积，其中图卷积操作被解释为从图信号中去除噪声。基于空间的方法将图卷积表示为从邻域聚合特征信息，当图卷积网络的算法在节点层次运行时，图池化模块可以与图卷积层交错，将图粗化为高级子结构。如下图所示，这种架构设计可用于提取图的各级表示和执行图分类任务。
基于谱的GCNs方法
在基于谱的图神经网络中，图被假定为无向图，无向图的一种鲁棒数学表示是正则化图拉普拉斯矩阵，即
L
=
I
n
−
D
−
1
/
2
A
D
−
1
/
2
L = \mathbf{I}_{n}-\mathbf{D}^{-1/2}\mathbf{A}\mathbf{D}^{-1/2}
L=In−D−1/2AD−1/2
其中，A为图的邻接矩阵，D为对角矩阵且
D
i
i
=
∑
j
(
A
i
,
j
)
D_{ii} = \sum_{j}(\mathbf{A}_{i, j})
Dii=j∑(Ai,j)
正则化图拉普拉斯矩阵具有实对称半正定的性质。利用这个性质，正则化拉普拉斯矩阵可以分解为
L
=
U
Λ
U
T
L = \mathbf{U}\Lambda\mathbf{U}^{T}
L=UΛUT
其中,
U
=
[
u
0
,
u
1
,
.
.
.
,
u
n
−
1
]
∈
R
N
×
N
U = [u_{0},u_{1},...,u_{n-1}]\in R^{N \times N}
U=[u0,u1,...,un−1]∈RN×N
U
U
U是由
L
L
L的特征向量构成的矩阵，
Λ
\Lambda
Λ 是对角矩阵，对角线上的值为L的特征值。正则化拉普拉斯矩阵的特征向量构成了一组正交基。
在图信号处理过程中，一个图的信号
x
∈
R
N
x \in R^{N}
x∈RN
是一个由图的各个节点组成的特征向量，
x
i
x_{i}
xi 代表第i个节点。
对图X的傅里叶变换由此被定义为
F
(
x
)
=
U
T
x
\mathscr{F}(x) = \mathbf{U}^{T}x
F(x)=UTx
傅里叶反变换则为
F
(
x
^
)
=
U
x
^
\mathscr{F}(\hat{x}) = \mathbf{U}\hat{x}
F(x^)=Ux^
其中
x
^
\hat{x}
x^ 为傅里叶变换后的结果。
为了更好地理解图的傅里叶变换，从它的定义我们可以看出，它确实将输入的图信号投影到正交空间，而这个正交空间的基（base）则是由正则化图拉普拉斯的特征向量构成。
转换后得到的信号
x
^
\hat{x}
x^ 的元素是新空间中图信号的坐标，因此原来的输入信号可以表示为
x
=
∑
i
x
^
i
u
i
x= \sum_{i} \hat{x}_{i} u_{i}
x=i∑x^iui
这正是傅里叶反变换的结果。
现在我们可以来定义对输入信号X的图卷积操作了
x ∗ G g = F − 1 ( F ( x ) ⊙ F ( g ) ) = U ( U T x ⊙ U T g ) \begin{aligned} x * G \mathbf{g} &=\mathscr{F}^{-1}(\mathscr{F}(x) \odot \mathscr{F}(\mathbf{g})) \\ &=\mathbf{U}\left(\mathbf{U}^{T} x \odot \mathbf{U}^{T} \mathbf{g}\right) \end{aligned} x∗Gg=F−1(F(x)⊙F(g))=U(UTx⊙UTg)
其中， g ∈ R N \mathbf{g}\in R^{N} g∈RN是我们定义的滤波器； ⊙ \odot ⊙ 表示Hadamard product。
假如我们定义这样一个滤波器
g
θ
=
d
i
a
g
(
U
T
g
)
\mathbf{g}_{\theta } = diag(\mathbf{U}^{T}\mathbf{g})
gθ=diag(UTg)
那么我们的图卷积操作可以简化表示为
x
∗
G
g
θ
=
U
g
θ
U
T
x
x * G \mathbf{g}_{\theta } = \mathbf{U}\mathbf{g}_{\theta }\mathbf{U}^{T}x
x∗Ggθ=UgθUTx
基于谱的图卷积网络都遵循这样的模式，它们之间关键的不同点在于选择的滤波器不同。
现有的基于谱的图卷积网络模型有以下这些：Spectral CNN、Chebyshev Spectral CNN (ChebNet)、Adaptive Graph Convolution Network (AGCN)
基于谱的图卷积神经网络方法的一个常见缺点是，它们需要将整个图加载到内存中以执行图卷积，这在处理大型图时是不高效的。
基于空间的GCNs方法
基于空间的图卷积神经网络的思想主要源自于传统卷积神经网络对图像的卷积运算，不同的是基于空间的图卷积神经网络是基于节点的空间关系来定义图卷积的。
为了将图像与图关联起来，可以将图像视为图的特殊形式，每个像素代表一个节点，如下图a所示，每个像素直接连接到其附近的像素。通过一个3×3的窗口，每个节点的邻域是其周围的8个像素。这八个像素的位置表示一个节点的邻居的顺序。然后，通过对每个通道上的中心节点及其相邻节点的像素值进行加权平均，对该3×3窗口应用一个滤波器。由于相邻节点的特定顺序，可以在不同的位置共享可训练权重。同样，对于一般的图，基于空间的图卷积将中心节点表示和相邻节点表示进行聚合，以获得该节点的新表示，如图b所示。
一种共同的实践是将多个图卷积层叠加在一起。根据卷积层叠的不同方法，基于空间的GCN可以进一步分为两类：recurrent-based和composition-based的空间GCN。recurrent-based的方法使用相同的图卷积层来更新隐藏表示，composition-based的方法使用不同的图卷积层来更新隐藏表示。下图说明了这种差异。
作为最早的图卷积网络，基于谱的模型在许多与图相关的分析任务中取得了令人印象深刻的结果。这些模型在图信号处理方面有一定的理论基础。通过设计新的图信号滤波器，我们可以从理论上设计新的图卷积网络。然而，基于谱的模型有着一些难以克服的缺点，下面我们将从效率、通用性和灵活性三个方面来阐述。
在效率方面，基于谱的模型的计算成本随着图的大小而急剧增加，因为它们要么需要执行特征向量计算，要么同时处理整个图，这使得它们很难适用于大型图。基于空间的模型有潜力处理大型图，因为它们通过聚集相邻节点直接在图域中执行卷积。计算可以在一批节点中执行，而不是在整个图中执行。当相邻节点数量增加时，可以引入采样技术来提高效率。
在一般性方面，基于谱的模型假定一个固定的图，使得它们很难在图中添加新的节点。另一方面，基于空间的模型在每个节点本地执行图卷积，可以轻松地在不同的位置和结构之间共享权重。
在灵活性方面，基于谱的模型仅限于在无向图上工作，有向图上的拉普拉斯矩阵没有明确的定义，因此将基于谱的模型应用于有向图的唯一方法是将有向图转换为无向图。基于空间的模型更灵活地处理多源输入，这些输入可以合并到聚合函数中。因此，近年来空间模型越来越受到关注。
图注意力网络（Graph Attention Networks）
注意力机制如今已经被广泛地应用到了基于序列的任务中，它的优点是能够放大数据中最重要的部分的影响。这个特性已经被证明对许多任务有用，例如机器翻译和自然语言理解。如今融入注意力机制的模型数量正在持续增加，图神经网络也受益于此，它在聚合过程中使用注意力，整合多个模型的输出，并生成面向重要目标的随机行走。
图自动编码器（Graph Autoencoders）
图自动编码器是一类图嵌入方法，其目的是利用神经网络结构将图的顶点表示为低维向量。典型的解决方案是利用多层感知机作为编码器来获取节点嵌入，其中解码器重建节点的邻域统计信息，如positive pointwise mutual information （PPMI）或一阶和二阶近似值。最近，研究人员已经探索了将GCN作为编码器的用途，将GCN与GAN结合起来，或将LSTM与GAN结合起来设计图自动编码器。
图生成网络（Graph Generative Networks）
图生成网络的目标是在给定一组观察到的图的情况下生成新的图。图生成网络的许多方法都是特定于领域的。例如，在分子图生成中，一些工作模拟了称为SMILES的分子图的字符串表示。在自然语言处理中，生成语义图或知识图通常以给定的句子为条件。最近，人们提出了几种通用的方法。一些工作将生成过程作为节点和边的交替形成因素，而另一些则采用生成对抗训练。这类方法要么使用GCN作为构建基块，要么使用不同的架构。
图时空网络Graph Spatial-Temporal Networks
图时空网络同时捕捉时空图的时空相关性。时空图具有全局图结构，每个节点的输入随时间变化。例如，在交通网络中，每个传感器作为一个节点连续记录某条道路的交通速度，其中交通网络的边由传感器对之间的距离决定。图形时空网络的目标可以是预测未来的节点值或标签，或者预测时空图标签。最近的研究仅仅探讨了GCNs的使用，GCNs与RNN或CNN的结合，以及根据图结构定制的循环体系结构。
图神经网络的应用
1. 计算机视觉领域（Computer Vision）
图形神经网络的最大应用领域之一是计算机视觉。研究人员在场景图生成、点云分类与分割、动作识别等多个方面探索了利用图结构的方法。
在场景图生成中，对象之间的语义关系有助于理解视觉场景背后的语义含义。给定一幅图像，场景图生成模型检测和识别对象，并预测对象对之间的语义关系。另一个应用程序通过生成给定场景图的真实图像来反转该过程。自然语言可以被解析为语义图，其中每个词代表一个对象，这是一个有希望的解决方案，以合成给定的文本描述图像。
在点云分类和分割中，点云是激光雷达扫描记录的一组三维点。此任务的解决方案使激光雷达设备能够看到周围的环境，这通常有利于无人驾驶车辆。为了识别点云所描绘的物体，将点云转换为k-最近邻图或叠加图，并利用图论进化网络来探索拓扑结构。
在动作识别中，识别视频中包含的人类动作有助于从机器方面更好地理解视频内容。一组解决方案检测视频剪辑中人体关节的位置。由骨骼连接的人体关节自然形成图表。给定人类关节位置的时间序列，应用时空神经网络来学习人类行为模式。
此外，图形神经网络在计算机视觉中应用的可能方向也在不断增加。这包括人-物交互、少镜头图像分类、语义分割、视觉推理和问答等。
2. 推荐系统（Recommender Systems）
基于图的推荐系统以项目和用户为节点。通过利用项目与项目、用户与用户、用户与项目之间的关系以及内容信息，基于图的推荐系统能够生成高质量的推荐。推荐系统的关键是评价一个项目对用户的重要性。因此，可以将其转换为一个链路预测问题。目标是预测用户和项目之间丢失的链接。为了解决这个问题，有学者提出了一种基于GCN的图形自动编码器。还有学者结合GCN和RNN，来学习用户对项目评分的隐藏步骤。
3. 交通（Traffic）
交通拥堵已成为现代城市的一个热点社会问题。准确预测交通网络中的交通速度、交通量或道路密度，在路线规划和流量控制中至关重要。有学者采用基于图的时空神经网络方法来解决这些问题。他们模型的输入是一个时空图。在这个时空图中，节点由放置在道路上的传感器表示，边由阈值以上成对节点的距离表示，每个节点都包含一个时间序列作为特征。目标是预测一条道路在时间间隔内的平均速度。另一个有趣的应用是出租车需求预测。这有助于智能交通系统有效利用资源，节约能源。
4. 生物化学（Chemistry）
在化学中，研究人员应用图神经网络研究分子的图结构。在分子图中，原子为图中的节点，化学键为图中的边。节点分类、图形分类和图形生成是分子图的三个主要任务，它们可以用来学习分子指纹、预测分子性质、推断蛋白质结构、合成化合物。
5. 其他
除了以上四个领域外，图神经网络还已被探索可以应用于其他问题，如程序验证、程序推理、社会影响预测、对抗性攻击预防、电子健康记录建模、脑网络、事件检测和组合优化。
，在路线规划和流量控制中至关重要。有学者采用基于图的时空神经网络方法来解决这些问题。他们模型的输入是一个时空图。在这个时空图中，节点由放置在道路上的传感器表示，边由阈值以上成对节点的距离表示，每个节点都包含一个时间序列作为特征。目标是预测一条道路在时间间隔内的平均速度。另一个有趣的应用是出租车需求预测。这有助于智能交通系统有效利用资源，节约能源。
4. 生物化学（Chemistry）
在化学中，研究人员应用图神经网络研究分子的图结构。在分子图中，原子为图中的节点，化学键为图中的边。节点分类、图形分类和图形生成是分子图的三个主要任务，它们可以用来学习分子指纹、预测分子性质、推断蛋白质结构、合成化合物。
5. 其他
除了以上四个领域外，图神经网络还已被探索可以应用于其他问题，如程序验证、程序推理、社会影响预测、对抗性攻击预防、电子健康记录建模、脑网络、事件检测和组合优化。
2930
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
