DIFUSCO: Graph-based Diffusion Solvers for Combinatorial Optimization论文阅读

DIFUSCO：用于组合优化的基于图的扩散求解器

尝试研究graph+diffusion

摘要

基于神经网络的组合优化 (CO) 方法在解决各种 NP 完全 (NPC) 问题方面显示出了良好的结果，而无需依赖手工制作的领域知识。本文通过引入一种新的基于图的扩散框架（即 DIFUSCO），拓宽了当前 NPC 问题神经求解器的范围。我们的框架将 NPC 问题转化为离散的 {0, 1} 向量优化问题，并利用基于图的去噪扩散模型来生成高质量的解决方案。我们分别研究了两种具有高斯噪声（连续）和伯努利噪声（离散）的扩散模型，并设计了有效的推理计划来提高解决方案的质量。我们在两个经过充分研究的 NPC 组合优化问题上评估我们的方法：旅行商问题 (TSP) 和最大独立集 (MIS)。实验结果表明，DIFUSCO 的性能明显优于之前最先进的神经求解器，将 TSP-500 上的真实值与神经求解器之间的性能差距从 1.76% 改善到 0.46%，在 TSP-500 上从 2.46% 改善到 1.17%。 1000，TSP-10000 从 3.19% 到 2.58%。对于 MIS 问题，DIFUSCO 在具有挑战性的 SATLIB 基准测试中优于之前最先进的神经求解器。

一、Introduction

组合优化 (CO) 问题是涉及在离散空间中寻找最优解的数学问题。它们是计算机科学中的基本挑战，尤其是 NP 完全 (NPC) 类问题，被认为在多项式时间内难以解决。传统上，NPC 求解器依赖于整数规划 (IP) 或手工启发式算法，这需要大量的专家努力才能逼近接近最优的解决方案。

第三段是对图扩散模型使用的简介：受最近扩散模型在概率生成领域取得的显着成功的推动[102,40,94,120,96]，我们引入了一种名为 DIFUSCO 的新颖方法，它代表基于图的组合优化扩散求解器。为了将扩散模型的迭代去噪过程应用于基于图的设置，我们将每个 NPC 问题表述为找到一个 {0, 1} 值向量，该向量指示任务·········候选解决方案中节点或边的最佳选择。然后，我们使用基于消息传递的图神经网络 [61,36,29,107] 对每个实例图进行编码并对损坏的变量进行去噪。这种基于图的扩散模型从新的角度克服了之前神经NPC求解器的局限性。首先，DIFUSCO 可以通过几个 (≪ N ) 去噪步骤并行地对所有变量进行推理（第 3.3 节），避免了自回归构造求解器的顺序生成问题。其次，DIFUSCO 可以通过迭代细化对多峰分布进行建模，这减轻了先前非自回归构造模型的表达能力限制。最后但并非最不重要的一点是，DIFUSCO 通过监督去噪以高效稳定的方式进行训练（第 3.2 节），解决了基于 RL 的改进启发式方法的训练可扩展性问题。

我们应该指出，最近文献中已经探讨了利用基于扩散的生成模型来解决 NPC 问题的想法。特别是，Graikos 等人。 [32]提出了一种基于图像的扩散模型，通过将每个 TSP 实例投影到 64 × 64 灰度图像空间，然后使用卷积神经网络（CNN）生成预测解图像来解决欧几里得旅行商问题。这种基于图像的扩散求解器和我们的基于图的扩散求解器之间的主要区别在于，后者可以通过相应的随机变量显式地建模节点/边选择过程，这是制定 NPC 问题的自然设计选择（因为大多数它们是在图表上定义的），而前者不支持这种理想的形式主义。尽管基于图的建模已被用于构造性 [64] 和改进启发式 [20] 求解器，但据我们所知，之前尚未研究过如何使用基于图的扩散模型来解决 NPC 问题。

我们研究了 DIFUSCO 框架内两种类型的概率扩散建模：使用高斯噪声的连续扩散 [16] 和使用伯努利噪声的离散扩散 [5, 44]。这两类扩散模型目前已应用于图像处理，但尚未应用于 NPC 问题。我们系统地比较了两种类型的建模，发现离散扩散的性能明显优于连续扩散（第 4 节）。我们还设计了有效的推理策略来提高离散扩散求解器的生成质量。

最后，我们证明了单个图神经网络架构，即各向异性图神经网络 [9, 54]，可以用作两个不同 NP 完全组合优化问题的主干网络：旅行商问题（TSP）和最大独立问题设置（管理信息系统）。我们的实验结果表明，DIFUSCO 在各种规模的 TSP 和 MIS 问题的基准数据集上优于以前的概率 NPC 求解器。

我们研究了 DIFUSCO 框架内两种类型的概率扩散建模：使用高斯噪声的连续扩散 [16] 和使用伯努利噪声的离散扩散 [5, 44]。这两类扩散模型目前已应用于图像处理，但尚未应用于 NPC 问题。我们系统地比较了两种类型的建模，发现离散扩散的性能明显优于连续扩散（第 4 节）。我们还设计了有效的推理策略来提高离散扩散求解器的生成质量。

最后，我们证明了单个图神经网络架构，即各向异性图神经网络 [9, 54]，可以用作两个不同 NP 完全组合优化问题的主干网络：旅行商问题（TSP）和最大独立问题设置（管理信息系统）。我们的实验结果表明，DIFUSCO 在各种规模的 TSP 和 MIS 问题的基准数据集上优于以前的概率 NPC 求解器。

二、相关工作

2.1 Autoregressive Construction Heuristics Solvers（自回归构造启发式求解器）

继文本生成领域语言建模最近取得成功之后，自回归模型作为组合优化 (CO) 问题的建设性启发式求解器已经取得了最先进的结果 [106, 11]。 Bello 等人提出的第一种方法。 [6] 使用具有强化学习的神经网络在每个解码步骤将一个新变量附加到部分解，直到生成完整的解。然而，自回归模型[64]由于其顺序生成方案和自注意力机制中的二次复杂度，在大规模 NPC 问题上面临着高时间和空间复杂度的挑战。

2.2 Non-autoregressive Construction Heuristics Solvers（非自回归构造启发式求解器）

最近提出了非自回归（或热图）构造启发式求解器 [53,27,28,92]，通过假设 NPC 问题中变量之间的条件独立来解决此可扩展性问题，但这种假设限制了捕获多模态性质的能力 [57 ，33]高质量的解决方案分发。因此，需要额外的主动搜索[6, 92]或蒙特卡罗树搜索（MCTS）[27, 98]来进一步提高非自回归方案的表达能力。

DIFUSCO 可以被视为非自回归构造启发式类别的成员，因此可以受益于 MCTS 等热图搜索技术。但DIFUSCO使用迭代去噪方案来生成最终的热图，与之前的非自回归方法相比，显着增强了其表达能力。

2.3 Diffusion Models for Discrete Data（离散数据的扩散模型）

典型的扩散模型[100,102,40,103,85,56]在连续域中运行，在前向过程中逐步向干净数据中添加高斯噪声，并在离散时间框架中学习在反向过程中去除噪声。

离散扩散模型已被提出，用于使用二项式噪声 [100] 和多项式/分类噪声 [5, 44] 生成离散图像位或文本。最近的研究还显示了离散扩散模型在声音生成 [118]、蛋白质结构生成 [77]、分子生成 [108] 和更好的文本生成 [52, 38] 方面的潜力。

另一项工作是通过在离散数据的嵌入空间 [30, 69, 24]、{−1.0, 1.0} 实数向量空间 [16] 上应用具有高斯噪声的连续扩散模型来研究离散数据的扩散模型单纯形空间[37]。最相关的工作可能是 Niu 等人。 [86]，提出了一种基于连续分数的图生成框架，但他们只评估了简单的非 NP-hard CO 任务，例如最短路径和最大生成树。

三、DIFUSCO: Proposed Approach

3.1 Problem Definition

定义cost函数

不同于概率神经NPC求解器，概率神经NPC求解器使用强化学习进行优化。本文采用监督学习。以下定义Loss function：

3.3 Denoising Schedule for Fast Inference （用于快速推理的去噪计划）

加速去噪扩散模型推理的一种方法是减少反向扩散过程的步骤数，这也减少了神经网络评估的数量。去噪扩散隐式模型（DDIM）[101]是一类在连续域中应用此策略的模型，类似的方法可用于离散扩散模型。

3.4 基于图的去噪网络

去噪网络将一组噪声变量 xt 和问题实例 s 作为输入，并预测干净的数据 e x0。为了平衡可扩展性和性能考虑，我们采用具有边缘门控机制的各向异性图神经网络[9, 54]作为离散和连续扩散模型的骨干网络，网络输出中的变量可以是任一节点的状态，如最大独立集 (MIS) 问题，或边，如旅行商问题 (TSP) 问题。我们对网络的选择主要遵循之前的工作[54, 92]，因为 AGNN 可以为节点和边生成嵌入，这与 GCN [62] 或 GAT [107] 等典型的 GNN 不同，它们仅设计用于节点嵌入。这种设计选择对于需要预测边缘变量的任务特别有益。

Anisotropic Graph Neural Networks（各向异性图神经网络）

3.5 Decoding Strategies for Diffusion-based Solvers（3.5 基于扩散的求解器的解码策略）

根据式（1）训练参数化去噪网络后：如图 4 所示，从扩散模型 pθ(x0|s) 中采样解以进行最终评估。然而，像DIFUSCO这样的概率生成模型并不能保证采样解根据CO问题的定义是可行的。因此，针对本文研究的两个CO问题设计了专门的解码策略。

Heatmap Generation

四、TSP实验

我们使用二维欧几里得 TSP 实例来测试我们的模型。我们通过从单位正方形上的均匀分布中随机采样节点来生成这些实例。我们使用 TSP-50（具有 50 个节点）作为主要基准来比较不同的模型配置。我们还在具有 100、500、1000 和 10000 个节点的较大 TSP 实例上评估我们的方法，以证明其与其他最先进方法相比的可扩展性和性能。

4.1 Experimental Settings

数据集 我们使用 TSP-50/100 的 Concorde 精确求解器 [3] 和 TSP-500/1000/10000 的 LKH-3 启发式求解器 [39] 生成并标记训练实例。我们对 TSP-50/100 使用与 [54, 64] 相同的测试实例，对 TSP-500/1000/10000 使用与 [27] 相同的测试实例。

图稀疏化 我们使用稀疏图来解决大规模 TSP 问题，以降低计算复杂度。我们通过基于欧几里得距离限制每个节点到其最近邻居的 k 个边来稀疏化图。对于 TSP-500，我们将 k 设置为 50；对于 TSP-1000/10000，我们将 k 设置为 100。这样，我们就可以避免密集图中边随着节点数量的增加而二次增长。

模型设置 T = 1000 去噪步骤用于在所有数据集上训练 DIFUSCO。继Ho等人之后。 [40]，Graikos 等人。 [32]，我们对 {βt}tT=1 使用简单的线性噪声表，其中 β1 = 10−4 且 βT = 0.02。我们关注 Graikos 等人。 [32]并使用贪婪解码+2-opt方案（第3.5节）作为实验的默认解码方案。

评估指标 为了比较不同模型的性能，我们提出了三个指标：平均行程长度（Length）、平均相对性能差距（Gap）和总运行时间（Time）。详细的描述可以在附录中找到。

4.2 设计分析

离散扩散与连续扩散 我们首先研究两种扩散方法对于组合优化的适用性，即使用高斯噪声的连续扩散和使用伯努利噪声的离散扩散（第 3.2 节）。此外，我们还探讨了不同去噪方案（例如线性和余弦方案（第 3.3 节））对 CO 问题的有效性。为了有效评估这些模型选择，我们利用 TSP-50 基准。

请注意，尽管所有扩散模型都是使用 T = 1000 噪声时间表进行训练的，但推理时间表可以比 T 短，如第 3.3节中所述。具体来说，我们对具有 1、2、5、10、20、50、100 和 200 个扩散步骤的扩散模型感兴趣。

图 1 展示了具有两种类型的推理计划和各种扩散步骤的两种扩散模型的性能。我们可以看到，当扩散步骤超过 5 个时，离散扩散始终大幅优于连续扩散模型。此外，余弦调度在离散扩散上优于线性，并且在连续扩散上表现相似。因此，我们在本文的其余部分使用余弦。

更多的扩散迭代vs更多采样 通过利用有效的去噪计划，扩散模型能够通过预先确定扩散步骤的总数，根据可用的计算预算进行自适应推断。这类似于改变以前的概率神经 NPC 求解器中的样本数量 [64]。因此，我们研究了基于扩散的 NPC 求解器的扩散迭代次数和样本数量之间的权衡。

总的来说，我们发现 50（扩散步数）× 1（样本）策略和 10（扩散步数）× 16（样本）策略在离散 DIFUSCO 模型的探索和利用之间取得了良好的平衡，并将其用作贪婪策略和采样策略对于其余的实验。

4.3 主要结果

与 SOTA 方法的比较  我们将离散 DIFUSCO 与其他最先进的神经 NPC 求解器在各种规模的 TSP 问题上进行比较。由于篇幅限制，其他基线模型的描述可以在附录中找到。

泛化测试 最后，我们研究了离散 DIFUSCO 的泛化能力，该能力在一组特定问题规模的 TSP 问题上进行训练，并在其他问题规模上进行评估。从图3中我们可以看出DIFUSCO具有很强的泛化能力。特别是，使用 TSP-50 训练的模型甚至在 TSP-1000 和 TSP0-10000 上也表现良好。这种模式与之前的工作 [54] 中报道的 RL 训练或 SL 训练的非自回归方法的泛化能力较差不同。

五、MIS实验

对于最大独立集（MIS），我们对最近的工作 [70,1,8,92] 显示出的两种类型的图进行了实验，即 SATLIB [46] 和 Erd ̋ os-Rényi (ER) 图 [26] 。前者是CNF中SAT实例缩减的一组图，而后者是随机图。我们使用 ER-[700-800] 进行评估，其中 ER-[n-N ] 表示图包含 n 到 N 个节点。继邱等人之后。 [92]，成对连接概率p设置为0.15。

数据集 由 KaMIS3 启发式求解器标记的训练实例。 SAT 数据集上的测试实例分割和随机生成的 ER 测试图取自 Qiu 等人。 [92]。

模型设置 训练计划与 TSP 求解器相同（第 4.1 节）。对于 SATLIB，我们分别使用 50（扩散步数）×1（样本）策略和 50（扩散步数）×4（样本）策略的离散扩散作为贪婪策略和采样策略。对于 ER 图，我们分别使用 50（扩散步数）× 1（样本）策略和 20（扩散步数）× 8（样本）策略的连续扩散作为贪婪策略和采样策略。

评估指标 我们报告独立集的平均大小 (Size)、平均最优性差距 (Gap) 和延迟时间 (Time)。详细的描述可以在附录中找到。请注意，为了公平比较，我们在所有模型中禁用图缩减和 2-opt 本地搜索，因为 [8] 指出所有模型在本地搜索后处理时都会执行类似的操作。

结果和分析  图 3 将离散 DIFUSCO 与 SATLIB 和 ER-[700-800] 基准上的其他基线进行比较。我们可以看到，DIFUSCO 在 SATLIB 基准上明显优于之前最先进的方法，将真实值和神经求解器之间的差距从 0.63% 缩小到 0.21%。然而，我们还发现 DIFUSCO（尤其是我们初步实验中的离散扩散）在 ER-[700-800] 数据上表现不佳。我们假设这是因为以前的方法通常使用基于节点的图神经网络（如 GCN [62] 或 GraphSage [36]）作为主干网络，而我们使用基于边缘的各向异性 GNN（第 3.4 节），其归纳偏置可能不适合 ER 图。

六、结束语

我们提出了 DIFUSCO，一种新颖的基于图的扩散模型，用于解决 NP 完全组合优化问题。我们比较了基于图的扩散模型的两种变体：一种具有连续高斯噪声，另一种具有离散伯努利噪声。我们发现离散变体比连续变体表现更好。此外，我们设计了一个余弦推理表，可以增强模型的有效性。 DIFUSCO 在 TSP 和 MIS 问题上取得了最先进的结果，在准确性和可扩展性方面超越了以前的概率 NPC 求解器。

对于未来的工作，我们希望探索 DIFUSCO 在解决更广泛的 NPC 问题方面的潜力，包括混合整数规划（在附录中讨论）。我们还想探索使用等变图神经网络 [117, 45] 来进一步改进几何 NP 完全组合优化问题（例如欧几里得 TSP）的扩散模型。最后，我们有兴趣利用基于扩散模型的求解器的（高阶）加速推理技术，例如受离散扩散连续时间框架启发的技术 [12, 105] （未完待续）