- 博客(8)
- 收藏
- 关注
RSS订阅原创 深入理解图（Graph）与图神经网络 （GNN）（其六）终
很高兴你可以看到这里。这真的是新的吗？我们必须避免的陷阱之一是仅仅在名义上基于花哨的数学形式主义构建新模型，而底层模型仍然基本上与之前一代的GNNs相同。例如，人们可以认为在（C. Bodnar, F. Di Giovanni, et al., Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs (2022)）中研究的sheaf diffusion是消息传递的特例。
2023-06-01 22:07:17
184
1
原创 深入理解图（Graph）与图神经网络 （GNN）（其六）
在最近的另一篇论文中（F. Di Giovanni, G. Luise, and M. M. Bronstein, Heterogeneous manifolds for curvature-aware graph embedding (2022)），我们展示了一种构建具有可控黎曲率的异质嵌入空间的方法，可以选择与图的黎曲率相匹配，从而更好地表示邻域（距离）结构以及三角形和矩形等高阶结构。(2022) ）中展示了负的图黎曲率会在图上产生“瓶颈”，干扰图中的信息流动，并导致GNN中的过度压缩现象。
2023-06-01 21:50:56
148
原创 深入理解图（Graph）与图神经网络 （GNN）（其五）
一种新兴且有前景的替代当前“离散”图神经网络（GNN）的方法是“连续”学习模型，它受到物理系统的启发，并在图机器学习中开启了一系列尚未深入探索的工具，如微分几何、代数拓扑和微分方程。将GNN重新构想成连续的物理过程。我们可以考虑在某个定义域上进行连续时间内的物理过程（该域也可以是连续的，例如流形，并将其离散化为图），而不是在图上进行多层消息传递。空间和时间上某个点的过程状态取代了GNN层产生的图节点的潜在特征。这个过程由一组参数控制（代表了底层物理系统的属性），这些参数取代了消息传递层中可学习的权重。
2023-06-01 21:08:53
133
原创 深入理解图（Graph）与图神经网络 （GNN）（其四）
在这种情况下，了解底层硬件的限制，如内存层次结构的不同带宽和延迟，并巧妙地利用它是非常重要的。而开发新型的以图形为中心的硬件则是一个更大的挑战，因为设计一款新芯片需要花费大量的时间和精力，而机器学习的最新技术发展速度很快。最近的几项研究试图通过提供GNN模型的“解释”来缓解这一缺点，这种解释通常采用了紧凑的子图结构和在GNN的预测中起关键作用的一小部分节点特征。早期的基准测试，包括现在广泛使用的Cora数据集，都是在具有很高同质性的图上进行的，使得对图神经网络的评估变得“太容易”。数据集（左图）和异质性。
2023-06-01 20:39:59
167
原创 深入理解图（Graph）与图神经网络 （GNN）（其三）
图神经网络可以被看作是“几何深度学习蓝图”的一个实例，这是一个群论框架，可以根据数据底层域的对称性推导出深度学习架构。在图的情况下，这种对称性是节点置换，因为图没有固定的节点顺序。由于这种结构特性，基于图局部操作的MPNN必须依赖于置换不变的特征聚合函数，这意味着图上没有“方向”的概念，信息的传播是各向同性的。这种情况与在连续域、网格甚至网格上学习的情况截然不同，这也是早期对GNN的批评之一，认为各向同性的滤波器并不是很有用。左图：网格是具有局部欧几里得结构的离散流形。
2023-06-01 20:25:47
117
原创 深入理解图（Graph）与图神经网络 （GNN）（其二）
图的重连通过重新定义图的连接方式，改变信息传播的路径，从而缓解了"过度压缩"的问题。Transformer 和 基于注意力机制的GNN，如GAT ，通过为每个边分配不同的权重来有效地"学习"新的图结构，这也可以理解为一种"软"重连。然而，由于某些结构特性（"瓶颈"）的存在，有些图对信息传播不太友好，导致来自过多节点的信息被"挤压"到单个节点的表示中——这种现象被称为。重连提供了一种灵活的方式来处理具有不同结构和特征的图数据，并允许我们构建更有效的模型来应对现实世界中的挑战。GNN中使用的不同图重连技术。
2023-06-01 20:04:50
216
原创 深入理解图（Graph）与图神经网络 （GNN）（其一）
其中包括在维斯费勒-莱曼层次结构中进行更高维的同构性测试（这会增加计算和内存复杂性，并且缺乏局部性）、将维斯费勒-莱曼测试应用于子图集合，或使用位置编码或结构编码来"着色"图的节点，从而帮助打破维斯费勒-莱曼算法中的规律性，以减少算法的误判。尽管图神经网络在各个领域取得了令人瞩目的成功，并且最近的研究广度和深度令人难以置信，但公平地说，当前图深度学习方案的主要模型是通过消息传递的方式，沿着图的边传播节点信息。通过位置编码和重连操作，我们可以更好地理解和利用图的结构，从而推动图神经网络的性能和表达能力。
2023-06-01 19:46:49
209
原创 图神经网络的典型应用和任务概述
聚合函数的不同形式（这些函数是参数化的，并且参数在训练过程中学习）导致了三种不同的图神经网络“风格”：卷积型（邻居特征的线性组合，权重仅依赖于图的结构）、注意力型（线性组合，其中权重还依赖于特征）、消息传递型（一般的非线性函数）。典型的使用情况包括节点嵌入（将每个节点表示为向量空间中的一个点，以便这些点的接近程度能够恢复原始图的连接性，这个任务被称为"链接预测"）、节点级别的分类或回归（例如推断社交网络用户的属性）或通过进一步聚合节点特征进行图级别的预测（例如预测分子图的化学性质）。
2023-06-01 19:26:44
237
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人