深入理解图（Graph）与图神经网络 （GNN）（其三）

图的“几何性”太差了。

图神经网络可以被看作是“几何深度学习蓝图”的一个实例，这是一个群论框架，可以根据数据底层域的对称性推导出深度学习架构。在图的情况下，这种对称性是节点置换，因为图没有固定的节点顺序。由于这种结构特性，基于图局部操作的MPNN必须依赖于置换不变的特征聚合函数，这意味着图上没有“方向”的概念，信息的传播是各向同性的。这种情况与在连续域、网格甚至网格上学习的情况截然不同，这也是早期对GNN的批评之一，认为各向同性的滤波器并不是很有用。

左图：网格是具有局部欧几里得结构的离散流形。相邻节点的定义是旋转不变的，允许有“方向”的概念。

右图：图的结构较少，相邻节点的定义是置换不变的，因此没有“方向”的概念。

图的“几何”结构太丰富了。

问题“有距离但没有方向”的性质也与构建节点嵌入时遇到的问题有些关联。在节点嵌入中，使用节点在某个空间中的表示之间的距离来捕捉图的连通性（大致上，嵌入空间中距离接近的节点预计在图中由一条边连接）。典型的应用场景是推荐系统，其中图嵌入用于在节点之间创建关联（边），例如在 微博 上关注谁。

图嵌入的质量和它们传达图结构的能力关键取决于嵌入空间的几何特性以及与图的“几何”兼容性。欧几里得空间是表示学习的真正“战马”，迄今为止是最简单和最方便的工作对象，但在许多自然图中却是一个相当糟糕的选择：其中一个原因是欧几里得度量球的体积增长在半径上是多项式的，但在维度上是指数级别的，而许多实际图表现出指数级的体积增长。结果是嵌入变得“过于拥挤”，需要使用高维空间，这导致了更高的计算和空间复杂度。

近来一个受欢迎的替代方案是使用具有指数级体积增长更符合图的特性的负曲率 “negatively-curved” （双曲hyperbolic）空间。使用双曲几何通常会导致更低的嵌入维度，从而产生更紧凑的节点表示。然而，图通常倾向于是异质的（即一些部分可能看起来像树，而另一些部分则像团体，具有非常不同的体积增长特性），而双曲嵌入空间是均匀的（每个点具有相同的几何特性）

此外，通常情况下，在嵌入空间中准确地表示一般图的度量结构是不可能的，即使该空间具有非欧几里得几何。因此，图嵌入不可避免地是近似的。更糟糕的是，由于嵌入是根据“链路预测 Link Prediction”准则构建的，对于更高阶结构 “higher-order structures”（三角形、矩形等）的扭曲可能会变得不可控地很大。在某些应用中，包括社交和生物网络，这些结构起着重要作用，因为它们捕捉到了更复杂的非成对交互和模式。

图模体（Graph Motifs）是高阶结构的例子。这样的结构在模拟许多生物现象的图中被观察到。