深度学习的新突破：Difformer模型

人工智能咨询培训老师叶梓 转载标明出处

在现实世界中，数据之间的复杂相互依赖性是一个普遍存在的现象。这种错综复杂的依赖关系，对于传统的机器学习算法来说，是一个巨大的挑战。因为它们通常假设数据是独立同分布的，这使得算法难以捕捉数据的内在几何结构，进而影响到模型学习到的实例表示的质量。为了解决这一难题，来自上海交通大学的研究团队联合牛津大学和亚马逊网络服务的学者们，共同提出了一种创新的解决方案：基于能量约束的扩散模型。

这一模型的核心思想是，通过将数据集中的实例逐步编码到一系列演化状态中，从而实现信息在实例间的交互和融合。在这个过程中，一个精心设计的能量函数起到了关键作用，它作为约束条件，确保了实例表示在潜在结构上的全局一致性。这种基于物理扩散原理的方法，不仅为机器学习领域带来了新的视角，也为处理复杂数据依赖性问题提供了一种有效的工具。

在这一研究的推动下，Difformer模型应运而生。它包含两种版本：一种是计算复杂度较低的版本，适合处理大规模数据集；另一种则更为高级，能够捕捉更复杂的数据结构。实验结果表明，无论是在节点分类、半监督图像和文本分类，还是时空动态预测等任务中，Difformer模型均展现出了卓越的性能。

方法

图1Difformer模型的整体架构和工作流程中描绘了一个数据集或批次的实例通过一个扩散过程被编码成隐藏状态，该过程旨在最小化一个正则化能量函数。在这个过程中，数据的特征在不同的层之间传播，通过最优的相互连接结构实现信息的传递。

在深度学习领域，处理部分标记实例集时，如何有效捕捉实例间的复杂关系并学习到有用的表示是一个挑战。能量约束的几何扩散变换器（Energy Constrained Geometric Diffusion Transformers），即Difformer通过模拟热扩散过程来逐渐将数据集中的实例编码到演化状态中，进而实现信息的交互和融合。

几何扩散模型是Difformer架构的起点，它将整个数据集视为一个整体，并通过各向异性的扩散过程产生实例表示。这种扩散过程由偏微分方程（PDE）描述，灵感来源于黎曼流形上的热扩散类比。

• 状态函数：使用向量值函数 <