图神经网络_gat属于图卷积吗-CSDN博客

本文链接：https://blog.csdn.net/lightwave_wang/article/details/88393095

由点和边组成的图谱：

推荐系统
公共交通
网页链接
论文引用
社交网络

把深度学习，用来处理图谱，能够扩大我们对图谱的处理能力。

图卷积网络
图注意力网络
图自编码器
图生成网络
图时空网络这些网络中，图卷积网络在捕捉架构依存关系上扮演着核心角色。

图片中的每一个像素被视为一个节点，邻居节点被滤波器的大小决定。二维卷积计算的是红结点及其邻结点像素值的加权平均值。

邻居节点是有序并且大小固定。

为了得到红结点的隐式表示，图卷积运算的一个简单解是取红结点及其邻结点特征的平均值。

与图像数据不同，节点的邻居是无序的，大小是可变的。

第一步：发射（send）每一个节点将自身的特征信息经过变换后发送给邻居节点。这一步是在对节点的特征信息进行抽取变换。

第二步：接收（receive）每个节点将邻居节点的特征信息聚集起来。这一步是在对节点的局部结构信息进行融合。

第三步：变换（transform）把前面的信息聚集之后做非线性变换，增加模型的表达能力。

关键就在于学习一个函数 f，通过聚合节点自己的特征值和它的邻居节点的特征值来获得这个节点的隐式表示

1 spatial-based 2 spectral-based

基于空间的方法将图形卷积表示为聚合来自邻居节点的特征信息。
基于谱的方法通过从图形信号处理的角度引入滤波器来定义图形卷积，其中图形卷积运算被解释为从图形信号中去除噪声。

While GCNs operate on the node level, graph pooling modules can be interleaved with the GCN layer, to coarsen graphs into high-level sub-structures. such an architecture design can be used to extract graph-level representations and to perform graph classification tasks.

Recurrent-based
Composition-based

According to the different approaches of stacking convolution layers,spatial-based GCNs can be further divided into two categories.

Recurrent-based methods apply a same graph convolution layer to update hidden representations, while compositionbased methods apply a different graph convolution layer to update hidden representations.

The main idea of recurrent-based methods is to update a node’s latent representation recursively until a stable fixed point is reached. This is done by imposing constraints on recurrent functions, employing gate recurrent unit architectures , updating node latent representations asynchronously and stochastically

Graph Neural Networks(GNNs)
Gated Graph Neural Networks (GGNNs)
Stochastic Steady-state Embedding (SSE)

GNN以递归方式更新节点潜在表示直到收敛。换句话说，从扩散过程的角度来看，每个节点与其邻居交换信息直到达到平衡。为了处理多样化的图，

GNN的空间图卷积被定义为:

为了确保收敛，递归函数f（·）必须是递减映射，它会缩小映射后两点之间的距离。在f（·）是神经网络的情况下，必须对Jacobian参数矩阵施加惩罚项。 GNN使用Almeida-Pineda算法来训练其模型。核心思想是运行传播过程以达到固定点然后执行给定收敛解的反向传播过程。

GGNNs employs gated recurrent units(GRU) as the recurrent function,reducing the recurrence to a fixed number of steps. The spatial graph convolution of GGNNs is defined as：

Different from GNNs, GGNNs use back-propagation through time (BPTT) to learn the parameters. The adavantage is that it no longer needs to constrain parameters to ensure convergence. However, the downside of training by BPTT is that it sacrifices efficiency both in time and memory. This is especially problematic for large graphs, as GGNNs need to run the recurrent function multiple times over all nodes, requring intermediate states of all nodes to be stored in memory. 为了提高学习效率，SSE算法以异步方式随机地更新节点潜在表示。SSE递归地估计节点潜在表示并用采样的批量数据更新参数。为了确保收敛到稳态，SSE的递归函数被定义为历史状态和新状态的加权平均值。

（Equation 10）

虽然求和邻域信息隐含地考虑节点度，但是该求和的规模是否影响该算法的稳定性仍然存在疑问。

Message Passing Neural Networks (MPNNs)

MPNN由两个阶段组成，即消息传递阶段和读出阶段。

消息传递阶段实际上运行 T-step 基于空间的图形卷积。根据消息函数Mt（·）和更新函数Ut（·）定义图卷积运算：

读出阶段实际上是池化操作，其基于每个单独节点的隐藏表示产生整个图形的表示。它被定义为:

通过输出函数R（·），最终表示y用于执行图级预测任务。通过引用聚合函数的概念来定义图卷积。聚合函数实质上是聚集节点的邻居节点的信息。图卷积运算定义为：

GraphSage不是更新所有节点上的状态，而是提出批处理训练算法，该算法可提高大型图的可扩展性。 GraphSage的学习过程包括三个步骤。

1它采用固定大小对节点的本地k-hop邻域进行采样。

2它通过聚合其邻居特征信息来导出中心节点的最终状态。

3它使用中心节点的最终状态做出预测并反向传播错误。

A GCN layer is followed by a pooling layer to coarsen a graph into sub-graphs so that node representations on coarsened graphs represent higher graph-level representations. To calculate the probability for each graph label, the output layer is a linear layer with the SoftMax function. graph pooling module, is also of vital importance, particularly for graph level classification tasks

它可以生成图形的层次表示，并且不仅可以与CNN结合，

而且可以以端到端的方式与各种图形神经网络架构相结合。

与之前的所有粗化方法相比，DIFFPOOL不是简单地将节点 DIFFPOOL聚类在一个图中，而是在广泛的输入图中为分层池节点提供

通用解决方案。

ChebNet

DGCNN 总的来说，DIFFPOOL 通过使用两个GNN来聚类节点来重新定义图池化模块。任何标准 G C N 模块都能与

DIFFPOOL结合使用，不仅可以增强表现能力，还可以加速卷积操作。

注意机制几乎已成为基于序列的任务的标准。注意力机制的优点是它们能够专注于物体的最重要部分。这一专长已被证明对许多任务很有用，例如机器翻译和自然语言理解。由于注意机制的模型地位的增加，图神经网络也通过在聚合期间使用注意力，集成来自多个模型的输出以及生成面向重要性的随机游走而从中受益。

图注意网络（GAT）是基于空间的图卷积网络，其中注意机制涉及在聚合特征信息时确定节点的邻居的权重。 GAT的图卷积运算定义为:

其中α（·）是一种注意函数，它自适应地控制邻居j对节点i的贡献。为了学习不同子空间中的注意权重，GAT使用多头注意。

利用基于空间的图卷积网络来获得现有图的隐藏表示。生成节点和边的决策过程以结果图表示为条件。

简而言之，DGMG递归地向增长图提出节点，直到到达停止的标准。

在添加新节点后的每个步骤中，DGMG重复决定是否向添加的节点添加边，直到判定变为假。如果判定为真，则评估将新添加的节点连接到所有现有节点的概率分布，并从概率分布中采样一个节点进行连接。将新节点及其连接添加到现有图形后，DGMG将再次更新图形表示。

The goal of graph spatial-temporal networks can be forecasting future node values or labels, or predicting spatial-temporal graph labels.

A GCN layer is followed by a 1D-CNN layer. The GCN layer operates on At and Xt to capture spatial dependency, while the 1D-CNN layer slides over X along the time axis to capture the temporal dependency. The output layer is a linear transformation, generating a prediction for each node.

网络嵌入旨在通过保留网络拓扑架构和节点内容信息，将网络顶点表示到低维向量空间中，以使任何后续的图分析任务（如分类、聚类和推荐）都可以通过使用简单的现成学习机算法（如用于分类的支持向量机）轻松执行。

Graph auto-encoders are one class of network embedding

approaches which aim at representing network vertices into a low-dimensional vector space by using neural network architectures.

使用GCN图自动编码器。编码器使用GCN层为每个节点获得潜在的重新表示。

解码器计算编码器产生的节点潜在表示之间的成对距离。在应用非线性激活函数之后，解码器重建图形邻接矩阵。

GAE可以以变化的方式进行训练，即最小化变分下界L：

Recommender Systems

基于图形的推荐系统将项目和用户作为节点。通过利用项目和项目，用户和用户，用户和项目以及内容信息之间的关系，基于图形的推荐系统能够产生高质量的推荐。推荐系统的关键是将项目的重要性评分给用户。结果，它可以被转换为链接预测问题。目标是预测用户和项目之间缺少的链接。为了解决这个问题，Van等人和Ying等人提出一个基于GCN的图自动编码器。 Monti等人结合GCN和RNN 来学习可以产生评级的潜在过程。

Traffic

交通拥堵已成为现代城市的热门社会问题。准确预测交通网络中的交通速度，交通量或道路密度对于路线规划和流量控制至关重要。某些论文中采用基于基于图的时空神经网络方法。其模型的输入是时空图。在这个时空图中，节点是由放置在道路上的传感器表示，边缘由成对节点高于某一阈值的距离表示，并且每个节点包含时间序列作为特征值。目标是在一个时间间隔内预测道路的平均速度。另一个有趣的应用是出租车需求预测。这极大地帮助智能交通系统利用资源并有效节约能源。根据特

定历史出租车需求，位置信息，天气数据和事件特征，Yao等人结合LSTM，CNN和由LINE训练的节点嵌入，以形成每个位置的联合表示，以预测在一个时间间隔内对位置所需的出租车数量。