Gnn笔记

TNNLS | GNN综述：A Comprehensive Survey on Graph Neural Networks_Cyril_KI的博客-CSDN博客_tnnls
I. Introduction

深度学习从欧几里德数据(如图像、文本和视频)中提取潜在表示的有效性。

在CNN、RNN和AE的推动下，GNN逐渐发展起来。

II. Background And Definition

RecGNN->ConvGNN->GAE和STGNN。

网络嵌入的目的是将网络节点表示为低维向量，同时保留网络拓扑结构和节点内容信息。

图核可以通过映射函数将图或节点嵌入到向量空间中，图核中映射函数是确定的，而不是可学习的。

区分特征向量和状态向量：图神经网络（GNN）的基本原理_Cyril_KI的博客-CSDN博客_gnn算法

III. Categorization And Frameworks

IV. Recurrent Graph Neural Networks：基于信息扩散机制​​​​​​图神经网络（GNN）的基本原理_Cyril_KI的博客-CSDN博客_gnn算法

特征向量实际上也就是节点或者边的标签，这个是图本身的属性，一直保持不变。最终的状态向量也就是我们学到的节点的高级表示。

由更新公式可知，当所有节点的状态都趋于稳定状态时，此时所有节点的状态向量都包含了其邻居节点和相连边的信息。

这与图嵌入有些类似：如果是节点嵌入，我们最终得到的是一个节点的向量表示，而这些向量是根据随机游走序列得到的，随机游走序列中又包括了节点的邻居信息， 因此节点的向量表示中包含了连接信息。

状态向量由F函数进行更新，输出函数G来对节点状态进行变换。

cnn：CNN笔记：通俗理解卷积神经网络_v_JULY_v的博客-CSDN博客_卷积神经网络

表示从第j层映射到第j+1层的控制函数的权重矩阵

 rnn：深度学习之RNN(循环神经网络)_笨拙的石头的博客-CSDN博客_rnn

解决时间序列问题

RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

学习模型的参数的时候用的是BPTT。

LSTM 和 GRU.

    LSTM 和 GRU对于梯度消失或者梯度爆炸的问题处理方法主要是:

    对于梯度消失: 由于它们都有特殊的方式存储”记忆”，那么以前梯度比较大的”记忆”不会像简单的RNN一样马上被抹除，因此可以一定程度上克服梯度消失问题。

    对于梯度爆炸:用来克服梯度爆炸的问题就是gradient clipping，也就是当你计算的梯度超过阈值c或者小于阈值-c的时候，便把此时的梯度设置成c或-c。 

随机稳态嵌入(SSE)采样一个batch，然后分别做节点上状态的更新和梯度的计算。

V. Convolutional Graph Neural Networks

RecGNN使用相同的图循环层(Grec)来更新节点的表示，而ConvGNN使用不同的图卷积层(Gconv)来更新节点表示。

  一个函数在它的函数体内调用它自身称为递归调用，这种函数称为递归函数。

A. Spectral-Based ConvGNN

图的傅里叶变换

B. Spatial-Based ConvGNN

基于空间域的图卷积将中心节点的表示与相邻节点的表示进行卷积。
C. Graph Pooling Modules

在GNN生成了节点的状态向量之后，我们可以将它们用于最后的预测任务。然而，直接使用所有这些特征在计算上具有挑战性，因此，需要一种下采样策略。根据目标和它在网络中扮演的角色，这个策略有不同的名称：pooling或者readout。

 下采样：（subsampled），又称为降采样（downsampled）。可以通俗地理解为缩小图像，减少矩阵的采样点数。

使用Attention机制来增强mean/sum pooling

聚类后池化、学习第k层的聚类分配矩阵S再池化

VI. Graph Autoencoders

自编码器：DL入门(2)：自编码器(AutoEncoder)_Cyril_KI的博客-CSDN博客

自动编码器是一种无监督的数据维度压缩和数据特征表达方法。

降维--PCA

使用逐层堆叠的方式来训练一个深层的自编码器

降噪自编码器我们把损坏的数据x  送给自编码器的输入端，并要求它通过编码+解码两个步骤重构出无损的原始输入。那么当输入一个没有经过损坏的数据时，我们就能将其恢复到更理想的状态。
 

给自编码器中隐藏层单元加上稀疏性限制，在学习的过程中，均方误差可能变得很小，这样会导过拟合，而我们期望的是一个泛化能力很强的编码器，所以我们加入L1正则化来抑制过拟合。

Network Embedding：

交叉熵：如何通俗的解释交叉熵与相对熵？ - 知乎

信息熵--信息熵衡量了系统的不确定性，而我们要消除这个不确定性，所要付出的【最小努力】（猜题次数、编码长度等）的大小就是信息熵。

交叉熵，其用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。

其用来衡量两个取值为正的函数或概率分布之间的差异，相对熵 = 某个策略的交叉熵 - 信息熵。

A. Network Embedding：图表示学习Graph Embedding综述_文文学霸的博客-CSDN博客

在向量空间中保持连接的节点彼此靠近。---拉普拉斯特征映射（Laplacian Eigenmaps）和局部线性嵌入（Locally Linear Embedding ，LLE）

一阶近似：边缘权重也被称为节点vi和vj之间的一阶近似值，

二阶近似：一对节点之间的二阶近似描述了该对节点邻域结构的相似性。

基于因子分解：

LLE假设每个节点都是嵌入空间中相邻节点的线性组合。重构矩阵元素代表节点j能够表示节点i的权重。

拉普拉斯特征映射的目的是在权重w ij较高时，保持两个节点嵌入后离得很近。

     图因式分解（GF）对图的邻接矩阵进行因式分解。

基于随机游走：

DeepWalk通过随机游走去可以获图中点的局部上下文信息。

node2vec通过最大化随机游走得到的序列中的节点出现的概率来保持节点之间的高阶邻近性。

HARP通过更好的权重初始化来改进解决方案并避免局部最优。

基于深度学习：

SDNE建议使用深度自动编码器来保持一阶和二阶网络邻近度。

DNGR结合了随机游走和深度自动编码器。

PPMI:点互信息（PMI）和正点互信息（PPMI）_桉夏与猫的博客-CSDN博客_pmi点互信息

用来衡量两个事物之间的相关性。正点互信息只是比点互信息多了一个判断最大值的操作，小于0的值都改成了0。

图卷积网络（GCN）通过在图上定义卷积算子来解决计算代价很高的问题。

空间滤波器直接作用于原始图和邻接矩阵，而谱滤波器作用于拉普拉斯图的谱。

LINE明确定义了两个函数，分别用于一阶和二阶近似，并最小化了这两个函数的组合。

KL散度：关于KL散度的一些理解_june_francis的博客-CSDN博客_图像的kl散度

即相对熵，描述两个概率分布P和Q差异的一种方法。

GAE用于学习网络嵌入时的机理为：使用编码器来提取网络嵌入，并使用解码器来加强网络嵌入，以保留图的拓扑信息（如PPMI矩阵和邻接矩阵）。

B. Graph Generation

GAE能够通过将图编码成隐藏表示，并将给定隐藏表示的图结构解码来学习图的生成分布。大多数用于图生成的GAE都是为了解决分子图生成问题而设计的，在药物发现中具有很高的实用价值。

VII. Spatial–Temporal GNN

STGNN同时捕获图的空间和时间依赖性。STGNN的任务可以是预测未来的节点值或标签，也可以是预测时空图标签。

VIII. Applications

一般任务如节点分类、图分类、网络嵌入、图生成和时空图预测等可以由GNN处理。其他与图相关的任务，如节点聚类、链接预测和图划分等，也可由GNN处理。

深入学习图数据是否是一个好的策略？

如何权衡算法的可扩展性和图的完整性？

需要开发新的方法来处理异质图。

在动态空间关系的情况下如何进行图的卷积？

逻辑回归：逻辑回归(logistics regression)_winrar_setup.rar的博客-CSDN博客_逻辑回归

分类和回归任务的区别：

输入变量与输出变量均为连续变量的预测问题是回归问题,输出变量为有限个离散变量的预测问题成为分类问题.

用回归的办法来做分类

利用线性回归的办法来拟合然后设置阈值的办法容易受到离群值的影响,sigmod函数可以有效的帮助我们解决这一个问题。

逻辑回归为什么对切斜的数据特别敏感(正负例数据比例相差悬殊时预测效果不好)：对数据进行欠采样/重采样来让正负例保持一个差不多的平衡,或者使用树型算法来做分类.