论文《From Latent Graph to Latent Topology Inference：Differentiable Cell Complex Module》笔记

【DCM】本文提出了一种新型的深度学习模块——可微分细胞复合模块（Differentiable Cell Complex Module，DCM），它用于推断潜在的拓扑结构（Latent Topology Inference，LTI）。这个模块旨在改进图神经网络（GNNs）的性能，特别是在处理没有固定图结构或给定图结构不理想的情况下。

发表在2024年ICLR会议上，作者学校：罗马大学、哈佛大学、牛津大学，引用量：9。

ICLR会议简介：全称International Conference on Learning Representations（国际学习表征会议），深度学习顶会。

查询会议：

• 会伴：https://www.myhuiban.com/
• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://openreview.net/forum?id=0JsRZEGZ7L
• 开源代码：https://github.com/spindro/differentiable_cell-complex_module

 

0、核心内容

潜在图推理（Latent Graph Inference，LGI） 通过动态学习图拓扑，放宽了图神经网络（GNNs）对给定拓扑的依赖。

然而，大多数LGI方法都假设有一个（有噪声的、不完整的、可改进的、……的）输入图来重新连接，并且可以单独学习常规的图拓扑。

随着拓扑深度学习（Topological Deep Learning，TDL）的成功，我们研究了潜在拓扑推理（Latent Topology Inference，LTI），用于学习描述数据点之间多路交叉的高阶单元复合体（具有稀疏拓扑和非规则拓扑）。

为此，我们引入了可微细胞复合模块（DCM），这是一种新的可学习函数，可以计算复杂模块中的细胞概率，以改进下游任务。我们展示了如何将DCM与单元复杂的消息传递网络集成，并以端到端方式进行训练，这要归功于两步推理过程，避免了对输入中所有可能得单元进行穷尽搜索，从而保持可伸缩性。

我们的模型在几个同配性和异配性图数据集上进行了测试，结果显示它由于其他最先进的技术，提供了显著的改进，特别是在没有提供输入图的情况下。

（引自摘要）

 

1、先验知识

① 什么是潜在图推理（Latent Graph Inference，LGI）？

潜在图推理是一种图神经网络的方法，它允许模型在没有预先定义的图拓扑结构的情况下进行学习。**这里的“图拓扑”指的是图中节点（顶点）和边的排列方式，即图中节点和边是如何相互连接的。**在传统的GNNs中，通常假设输入数据已经以图的形式给出，并且图的结构是固定不变的。然而，LGI的核心思想是数据可能存在一个未知的（潜在的）图结构，这个结构对于学习任务可能是更优的。

LGI的关键点包括：

1. 动态学习：LGI方法不是使用一个静态的、预先定义的图结构，而是在模型训练过程中动态地学习或推理出图的结构。这意味着模型可以根据数据的特征自动调整节点之间的连接关系。
2. 放宽依赖：传统的GNNs高度依赖于输入图的结构，因为它们通过图结构来聚合邻居节点的信息。LGI通过学习数据的潜在图结构，减少了对固定图拓扑的依赖，从而可能提高模型对不同数据分布的适应性。
3. 潜在结构：LGI假设数据中存在一种不是立即可见的潜在图结构，这种结构可能更好地捕捉了数据点之间的关系。例如，在社交网络分析中，潜在的朋友关系可能不会立即从数据中显现出来，但LGI可以帮助发现这些关系。
4. 应用范围：LGI可以应用于多种场景，比如当只有数据点云而没有明确的图结构时，或者当给定的图结构对于特定的下游任务不是最优时。

LGI提供了一种更加灵活的方式来处理图数据，允许模型自适应地学习数据的内在结构，而不是受限于人为定义或预先设定的图结构。这种方式在处理复杂关系和动态网络时尤其有用。

② 什么是拓扑深度学习（Topological Deep Learning，TDL）？

拓扑深度学习是一种结合了代数拓扑和深度学习的领域。它利用代数拓扑的概念来分析和处理数据，特别是那些具有高阶或多向交互的数据。TDL的核心思想是捕捉数据的内在结构和模式，这些结构和模式可能无法通过传统的基于图的方法完全表达。

以下是TDL的一些关键特点：

1. 高阶交互：TDL关注数据点之间的高阶关系，这些关系超出了传统图神经网络所能处理的成对节点关系。例如，它可能考虑三个或更多节点之间的交互。
2. 代数拓扑工具：TDL使用代数拓扑中的工具，如单纯复形（simplicial complexes）、细胞复合体（cellular complexes）和组合复合体（combinatorial complexes）来表示和处理数据。
3. 多向关系：TDL能够编码数据中的多向关系，这意味着它能够同时考虑多个实体之间的关系，而不仅仅是成对的节点。
4. 拓扑信号处理：TDL的一个分支是拓扑信号处理（Topological Signal Processing，TSP），它研究如何将拓扑概念应用于信号处理任务。
5. 拓扑神经网络：TDL还包括拓扑神经网络（Topological Neural Networks，TNNs），这些网络利用拓扑结构来设计网络架构，以更好地捕捉和学习数据的高阶特征。
6. 泛化和灵活性：TDL方法通常具有很好的泛化能力，因为它们能够从数据中学习到复杂的拓扑特征，并且可以适应不同的数据结构。
7. 应用领域：TDL可以应用于多种领域，包括但不限于社交网络分析、生物信息学、图像处理和机器视觉等。
8. 计算挑战：由于TDL处理的是高阶结构，它可能面临更高的计算复杂性，特别是在处理大规模数据集时。

拓扑深度学习是一个新兴的研究领域，它通过将深度学习的强大能力与拓扑学的严谨性结合起来，为理解和建模复杂数据结构提供了新的视角和工具。

The importance of Topological Deep Learning lies in its ability to model higher-order interactions, crucial for capturing the multifaceted nature of real-world systems. （拓扑深度学习的重要性在于其模拟高阶交互的能力，这对于捕捉现实世界系统的多面性至关重要。）

③ 什么是细胞复合体（cell complexes）？

细胞复合体是一种数学上的结构，用于在拓扑学中描述空间。 它们是单纯复形（simplicial complexes）的推广，可以更灵活地表示复杂的几何和拓扑结构。细胞复合体的概念在拓扑深度学习（Topological Deep Learning，TDL）中尤为重要，因为它们可以用来捕捉数据点之间的高阶交互。

细胞复合体的基本特征：

1. 多维单元：细胞复合体由不同维度的单元（称为细胞）组成，这些单元可以是点（0-细胞）、线段（1-细胞）、多边形（2-细胞）或更高维度的类似结构。
2. 组合结构：细胞复合体的细胞通过它们的边界关系组合在一起。每个高维细胞可以分解为多个低维细胞的并集。
3. 边界关系：细胞复合体中的细胞之间存在边界关系，即一个低维细胞可以使另一个高维细胞的边界或一部分。
4. 拓扑空间：细胞复合体提供了一种方式来构建拓扑空间，这些空间可以具有复杂的孔洞和连接性。
5. 规则性：在某些情况下，细胞复合体可以是规则的，这意味着复合体中的所有细胞都是规则多边形或多胞形，例如在代数拓扑中常用的立方体或四面体。
6. 同调和同伦：细胞复合体可以用来研究空间的同调和同伦理论，这些是拓扑学中用于分类空间的代数工具。
7. 应用：在拓扑深度学习中，细胞复合体可以用来构建能够捕捉高阶关系的神经网络模型，例如通过细胞复合体卷积网路（Cell Complex Convolutional Neural Networks，CCCNs）。
8. 数据表示：细胞复合体提供了一种方式来表示数据点之间的复杂交互，这些交互可能在传统的基于图的模型中难以捕捉。

细胞复合体是拓扑学中的一个强大工具，它们在数学、物理学和工程学中有广泛的应用，并且在深度学习领域，特别是在处理具有复杂结构的数据时，显示出了巨大的潜力。

④ 什么是常规细胞复合体（regular cell complexes）？

**常规细胞复合体（regular cell complexes）是一种特殊的细胞复合体，它具有一些规则性的特点，使得每个细胞都可以被赋予一个明确的维度和方向。**这种规则性通常与单纯形复合体（Simplicial Complex）相比较，后者由单纯形（如三角形或四面体）构成，并且每个单纯形都是由顶点通过线性组合构成的。

常规细胞复合体的一些关键特性：

1. 规则性：每个细胞都是规则形状，例如在二维空间中的正方形或三角形，在三维空间中的立方体或四面体。
2. 同胚性：每个细胞都同胚于一个欧几里得空间的子集，这意味着它们可以通过连续变换相互转换而不撕裂或粘合。
3. 有限交集：当两个细胞相交时，它们的交集也是一个细胞，且这个交点细胞的维度小于等于两个相交细胞的维度。
4. 局部有限性：在常规细胞复合体中，每个点的邻域只与有限数量的其他细胞相交。
5. 边界关系：每个细胞的边界由一组低维细胞组成，这些低维细胞按照特定的顺序排列，形成一个明确的边界结构。
6. 定向性：在某些情况下，常规细胞复合体的细胞可以被赋予一个方向或定向，这有助于定义边界关系和更高级的拓扑结构。
7. 组合结构：常规细胞复合体可以通过组合低维细胞来构建更高维的细胞，这些细胞的组合遵循特定的规则。
8. 代数描述：常规细胞复合体可以通过代数工具，如边界矩阵和Hodge拉普拉斯矩阵，来描述和分析。

在拓扑深度学习中，常规细胞复合体提供了一种结构化的方式来表示和处理数据，使得可以利用拓扑学的概念来设计和训练神经网络。例如，通过使用常规细胞复合体，可以构建能够捕捉数据点之间多向交互的神经网络模型。

 

2、展开研究

在本文中，我们通过将LGI推广到高阶复合体，引入了**潜在拓扑推理（Latent Topology Inference，LTI）**的概念。LTI的目标不仅仅是学习描述成对交互的图结构，而且是学习描述数据点之间多路交互的高阶复杂结构。

作为LTI的第一个实例，我们引入了可微细胞复合模块（Differentiable Cell Complex Module，DCM），这是一种新的深度学习架构，可以动态学习细胞复合体以改进下游任务。

DCM实现了一个两步推理过程，以减轻计算负担：首先，通过可微图模块（Differentiable Graph Module，GGM）的新改进版本学习复杂的1-skeleton；然后学习哪些高阶细胞（多边形）应该包含在复合体中。这两个步骤都利用了消息传递（在节点和边级别）和基于α-entmax函数类的稀疏采样技术，这允许克服原始DGM的限制，只能学习常规的图拓扑。我们推广了DGM的训练程序，以端到端的方式训练DCM。

DCM在几个同配性和异配性数据集上进行了测试，显示它由于其他最先进的技术，无论是否提供输入图，都提供了显著的改进。特别是，在提供的输入图的异配图基准上的精度提高表明，即使输入图不能很好地匹配数据，DCM也能导致鲁棒性能。

 

3、实验结果

同配图上的节点分类任务：

异配图上的节点分类任务：

其中：

• w/o graph：表示输入图被假设是不可用的
• w graph：表示输入图被假设是可用的

注：红色表示最好结果，蓝色表示次好结果。

 

4、基本原理

① TNNs

TNNs是基于细胞复合体的消息传递网络，其中节点可以与节点和边交换消息，边可以与节点、边和多边形交换消息，环可以与环和边交换消息。

In a cell complex, we can leverage a way more sophisticated adjacency structure among cells than the usual node adjacecy in graphs. （在细胞复合体中，我们可以利用一种比图中通常的节点邻接更复杂的细胞间邻接结构。）

注：普通的GNNs的基本元素是节点、边、节点特征；TNNs的基本元素是节点、细胞复合体（多个节点复合成的细胞）、边。

② 模型架构

图1：通过**常规细胞复合体（regular cell complexes）**进行潜在拓扑推断（LTI）的两步程序。

可微细胞复合模块（DCM）是一个函数，首先通过α-DGM（Differentiable Graph Module）学习一个图描述数据点之间的成对交互，然后利用图的常规细胞复合体的1-skeleton的2-cells（polygons），通过多边形推理模型（Polygon Inference Module，PIM）描述数据点之间的多路交互。然后将推断的拓扑用于两个消息传递网络，在节点级别（GNN）和边级别（Cell Complex Neural Network，CCNN）来解决下游任务。整个架构以端到端的方式进行训练。

我们现在介绍可微分细胞复合模块（DCM），这是第一个能够执行潜在拓扑推断的架构。集成DCM的提议层将节点特征（每个节点的特征称为一个数据点）和（可选的）输入图作为输入，并将更新的节点特征和推断的潜在细胞复合体作为输出。

DCM首先通过可微图模块（DGM）的新改进版本学习描述数据点之间的两两相互作用的潜在图，称为α-DGM，能够推断出不规则和稀疏的图。

一旦推断出潜在图，它就被用作规则细胞复合体的底层图，该复合体的多边形集，即循环的子集，通过多边形推理模块（Polygon Inference Module，PIM）学习，再次改进下游任务。
然后将推断的拓扑用于细胞复合消息传递网络，在节点和边级别上操作以解决下游任务。整个体系结构以端到端的方式进行训练。

由于基于α-entmax函数族的可微采样方案，DCM能够推断稀疏拓扑。设计了一个复杂的辅助和实际细胞特征系统，在相似的基础上驱动采样。

我们采用前面提到的两步（首先是边，然后是多边形）推理过程来保持计算复杂度的可处理性。在所有可能的多边形中直接采样，从而平凡地推广DGM框架，将导致难以处理的复杂性，例如，即使在三角形级别，采样在节点数量上也会具有三次复杂性，因为所有的边都是待采样的候选者。

The DCM is able to infer a sparse topology thanks to differential sampling schemes. Auxiliary and actual cell features drive the sampling on a similarity basis. （由于采用可微采样方案，DCM能够推断稀疏拓扑。辅助和实际细胞特征在相似性基础上驱动采样。）

（好高端的方法，有点意思……）

 

5、参考资料

• kimi：https://kimi.moonshot.cn/
• Latent Topology Inference：https://clabat9.medium.com/latent-topology-inference-0a3c04bf0fa5