图神经网络_待更新

GNN(图神经网络Graph Neural Network)

1. Graph Convolutional Networks (GCN)：这是一种最基础的图神经网络算法，在每一层中利用节点的邻居信息进行特征传递和更新，可以用于节点分类、图分类等任务。
2. Graph Attention Networks (GAT)：这是一种利用注意力机制来学习节点之间关系的图神经网络算法。通过为每个节点分配不同的注意力权重，可以更好地捕捉节点之间的重要关系。
3. GraphSAGE：这是一种采样和聚合的图神经网络算法，通过从邻居节点中抽取和聚合特征来更新节点的表示。这个算法适用于处理大规模图数据。
4. Graph Isomorphism Network (GIN)：这是一种结构简单但效果良好的图神经网络算法。它主要将节点的邻居特征进行求和和线性变换，并通过多层的图神经网络进行迭代计算。

5. 导读

传统的卷积神经网络（CNN）、循环神经网络系列（RNN 和 LSTM）不具备考虑样本间关系的能力。CNN 通过卷积运算提取样本局部特征，适用于图像数据。RNN 和 LSTM 的循环结构使得网络能够学习时序上的规律，适用于语音等时序数据。如果希望网络学习样本间关联的规律，那么就需要对网络运算方式或结构进行相应改造。 近年来，研究者陆续提出图卷积网络（Graph Convolutional Network，简称 GCN）、 GraphSAGE（Graph SAmple and aggreGatE）、图注意力网络（Graph Attenion Network ， 简称 GAT），正是将图论的概念引入传统神经网络，创造出一套全新的适用于图结构数据的 网络架构，统称图神经网络（Graph Neural Network，简称 GNN）。GNN 在学界和业界有着深远影响及广泛应用，对量化选股领域同样具有很高的借鉴价值。

我们认为，动态图注意力网络作为一种新的方法论，将样本的时序信息与样本间关联信息 结合在一起，通过空间域上的邻居聚合得到股票节点的嵌入表示（Embedding），这是相比传统机器学习及深度学习架构的创新之处。未来有更多方向值得探索，如建图方法、网络结构、策略构建等。

图神经网络

图神经网络将深度学习技术的使用场景从传统的图像、语音等数据拓展至图结构数据，在欺诈检测、购物推荐和交通流量预测等领域都有广泛应用。本章将从谱域和空间域两个方向介绍图神经网络：首先以图信号处理为基础，介绍谱域下的图卷积运算过程，通过参数化谱域卷积滤波器和切比雪夫多项式近似得到谱域图卷积网络，进而得到一阶切比雪夫图卷积网络即图卷积网络（GCN），由此引出 GCN 从谱域到空间域的过渡；随后介绍 GCN 在空间域下的两个改进变式：GraphSAGE 和图注意力网络（GAT）。

谱域图卷积运算

图的基本定义和性质

对于一个图𝐺 = (𝑉, 𝐸)，V 代表节点集合，E 代表边的集合。拉普拉斯矩阵𝐿 = 𝐷 − 𝑊是表示图拓扑结构的一种矩阵，是谱图理论中的一个有效算子。

其中 W 可以是邻接矩阵，若节点𝑣_𝑖和节点𝑣_𝑗有边连接则有𝑤_𝑖𝑗 = 1，否则𝑤_𝑖𝑗 = 0；W 也可以是加权邻接矩阵，即𝑤_𝑖𝑗可以是由高斯核权重函数定义的边权。

对角矩阵𝐷 = 𝑑𝑖𝑎𝑔(𝑑₁ , 𝑑₂ , ⋯ , 𝑑_𝑛)称为度矩阵，其中𝑑_𝑖 = ∑_j=1ⁿ 𝑤_𝑖𝑗。对拉普拉斯矩阵 L 对称标准化得到标准化拉普拉斯矩阵：𝐿_𝑠𝑦𝑚 = 𝐷^−1/2𝐿𝐷^−1/2 = 𝐼_𝑛 −𝐷^−1/2𝑊𝐷^−1/2。以未加权的邻接矩阵为例，L 的元素级定义如下：
$$L_{i,j}=\{\begin{array}{llc}{d}_i& if& i=j\\ -1& if& w_{i,j}=1\\ 0& otherwise& \end{array}$$

For example
$$\begin{gathered} W=\left[\begin{array}{cccc}0& 1& 0& 1\\ 1& 0& 1& 1\\ 0& 1& 0& 0\\ 1& 1& 0& 0\end{array}\right] \\ D=\left[\begin{array}{cccc}2& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 2\end{array}\right]L=\left[\begin{array}{cccc}2& -1& 0& -1\\ -1& 3& -1& -1\\ 0& -1& 1& 0\\ -1& -1& 0& 2\end{array}\right] \end{gathered}$$
关于拉普拉斯矩阵 L 的性质，可证明 L 是实对称矩阵和半正定矩阵，并且特征值为非负实数，最小特征值为零，即0 = 𝜆₁ ≤ 𝜆₂ ≤ ⋯ ≤ 𝜆_𝑛，对应单位正交的特征向量𝑈 = [𝑢₁ , 𝑢₂ , ⋯ , 𝑢_𝑛]， U 是正交矩阵，有𝑈𝑈^𝑇 = 𝐼；实对称矩阵 L 可以被正交对角化𝐿 = 𝑈Λ𝑈^𝑇，其中Λ是由 L 的特征值从小到大排列组成的对角矩阵。图表 1 中 G 的拉普拉斯矩阵 L 可以分解为：
$$U\Lambda U^T=\left[\begin{array}{cccc}0.50& 0.41& 0.71& -0.29\\ 0.50& 0& 0& 0.87\\ 0.50& -0.82& 0& -0.29\\ 0.50& 0.41& -0.71& -0.29\end{array}\right]\ast \left[\begin{array}{cccc}0.5& 0.41& 0.71& -0.29\\ 0.50& 0& 0& 0.87\\ 0.50& -0.82& 0& -0.29\\ 0.50& 0.41& -0.71& -0.29\end{array}\right]\left[\begin{array}{cccc}0.50& 0.50& 0.50& 0.50\\ 0.41& 0& -0.82& 0.41\\ 0.71& 0& 0& -0.71\\ -0.29& 0.87& -0.29& -0.29\end{array}\right]$$
在图信号处理中，图信号描述节点集 V 到实数域 R 的一种映射，V 上节点的信号值对应向量𝑋 = [𝑥₁ , 𝑥₂ , ⋯ , 𝑥_𝑛 ] 𝑇 ∈ 𝑅_𝑛，如上述 G 中节点𝑣_𝑖上的竖线代表该节点的信号值𝑥_𝑖。一维图信号𝑋 ∈ 𝑅_𝑛可以推广至多维，得到图信号矩阵𝑋 ∈ 𝑅_𝑛×𝑐，其中 c 为通道数量，即节点的特征维度大小。例如对股票市场建图，一只股票是一个节点，连边表示两只股票间存在某种关系， 节点上的 c 维信号值分别对应该股票的 c 个因子特征。下文将以图表 1 中 G 的一维图信号 𝑋 = [𝑥₁ , 𝑥₂ , 𝑥₃ , 𝑥₄ ]^𝑇为例，进行后续概念的解释。

前置知识

卷积

设:f(x),g(x)是R1上的两个可积函数，作积分：
$$h(x)={\int }_{-\infty }^{+\infty }f(r)g(g-r)dr$$
可以证明关于几乎所有的实数x,上述积分是存在的。这样随着x的不同取值，这个积分就定义了一个新函数 h(x).记为h(x)=( f·g )( x )

特征1 (f·g)(x)=(g·f)(x) 且仍可积。这就是说，把卷积代替乘法，L1（R1）空间是一个代数，甚至是巴拿赫代数。

特征2.由卷积得到的函数一般比原函数更光滑

定义:

卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n),h(n),则卷积结果为
$$y(n)=\sum _{i=-\infty }^{+\infty }x(i)h(n-i)=x(n)\ast h$$