文章目录
- 一、Mixture model network(MoNet)
- 二、Schrödinger Network(SchNet)
- 三、Graph Network-based Simulators
- 四、Gated Graph Sequence Neural Networks(GGS-NNs)
- 五、Adaptive Graph Convolutional Neural Networks(AGCN)
- 六、Crystal Graph Neural Network
- 七、GCNII
- 八、Deep Graph Infomax(DGI)
- 九、Temporal Graph Network(TGN)
- 十、DiffPool
- 十一、Graph Attention Network v2(GATv2)
- 十二、ChebNet
- 十三、Learnable graph convolutional layer(LGCL)
- 十四、FastGCN
- 十五、Bi-Directional Graph Convolutional Network
一、Mixture model network(MoNet)
混合模型网络(MoNet)是一个通用框架,允许在非欧几里得域(例如图和流形)上设计卷积深度架构。
二、Schrödinger Network(SchNet)
SchNet 是一种基于连续滤波器卷积的端到端深度神经网络架构。 它遵循深度张量神经网络框架,即从表征原子类型的嵌入向量开始构建原子级表示,然后通过一系列交互块引入系统的配置。
三、Graph Network-based Simulators
基于图网络的模拟器是一种图神经网络,它用粒子表示物理系统的状态,表示为图中的节点,并通过学习的消息传递来计算动态。
四、Gated Graph Sequence Neural Networks(GGS-NNs)
门控图序列神经网络(GGS-NNs)是一种新颖的基于图的神经网络模型。 GGS-NN 修改了图神经网络(Scarselli 等人,2009)以使用门控循环单元和现代优化技术,然后扩展到输出序列。
五、Adaptive Graph Convolutional Neural Networks(AGCN)
AGCN 是一种新颖的谱图卷积网络,以不同图结构的原始数据为基础。
六、Crystal Graph Neural Network
CGNN 的官方网站提供了 CGNN 的完整架构。
七、GCNII
GCNII 是图卷积网络的扩展,具有两种新技术:初始残差和识别映射,以解决过度平滑的问题——堆叠更多层和添加非线性往往会降低性能。 在每一层,初始残差从输入层构建跳跃连接,而恒等映射将恒等矩阵添加到权重矩阵。
八、Deep Graph Infomax(DGI)
Deep Graph Infomax (DGI),一种以无监督方式学习图结构数据中节点表示的通用方法。 DGI 依赖于最大化补丁表示和相应的图的高级摘要之间的互信息——两者都是使用已建立的图卷积网络架构导出的。 学习到的补丁表示总结了以感兴趣的节点为中心的子图,因此可以重用于下游的逐节点学习任务。 与大多数先前使用 GCN 进行无监督学习的方法相比,DGI 不依赖于随机游走目标,并且很容易适用于转导式和归纳式学习设置。
九、Temporal Graph Network(TGN)
时序图网络(TGN)是一种对表示为定时事件序列的动态图进行深度学习的框架。 模型当时的记忆(状态)由一个向量组成对于每个节点
该模型到目前为止已经看到了。 节点的内存在发生事件(例如与另一个节点交互或节点级更改)后更新,其目的是以压缩格式表示节点的历史记录。 得益于这个特定的模块,TGN 能够记住图中每个节点的长期依赖关系。 当遇到新节点时,其内存被初始化为零向量,然后针对涉及该节点的每个事件进行更新,即使在模型完成训练后也是如此。
十、DiffPool
DiffPool 是一个可微图池化模块,可以生成图的层次表示,并可以以端到端的方式与各种图神经网络架构相结合。 DiffPool 为深度 GNN 每一层的节点学习可微的软簇分配,将节点映射到一组簇,然后形成下一个 GNN 层的粗化输入。
十一、Graph Attention Network v2(GATv2)
“图注意力网络的注意力有多集中?”中的 GATv2 运算符 论文,解决了标准 GAT 层的静态注意力问题:由于标准 GAT 中的线性层是紧接着应用的,因此关注节点的排名不受查询节点的限制。 相比之下,在 GATv2 中,每个节点都可以参与任何其他节点。
GATv2评分函数:
十二、ChebNet
ChebNet 涉及谱图理论背景下的 CNN 公式,它提供了必要的数学背景和有效的数值方案来设计图上的快速局部卷积滤波器。
十三、Learnable graph convolutional layer(LGCL)
可学习图卷积层(LGCL)根据值排名自动为每个特征选择固定数量的相邻节点,以便将图数据转换为一维格式的网格状结构,从而能够在通用图上使用常规卷积运算 。
十四、FastGCN
FastGCN 是 Kipf & Welling (2016a) 最近提出的用于学习图嵌入的 GCN 模型的快速改进。 它将转导训练推广为归纳方式,并解决了由邻域递归扩展引起的 GCN 内存瓶颈问题。 关键要素是损失和梯度重新表述中的采样方案,通过嵌入函数积分变换形式的图卷积的另一种观点得到了很好的证明。