DIFUSCO: Graph-based Diffusion Solvers for Combinatorial Optimization论文阅读

DIFUSCO：用于组合优化的基于图的扩散求解器

尝试研究graph+diffusion

摘要

基于神经网络的组合优化 (CO) 方法在解决各种 NP 完全 (NPC) 问题方面显示出了良好的结果，而无需依赖手工制作的领域知识。本文通过引入一种新的基于图的扩散框架（即 DIFUSCO），拓宽了当前 NPC 问题神经求解器的范围。我们的框架将 NPC 问题转化为离散的 {0, 1} 向量优化问题，并利用基于图的去噪扩散模型来生成高质量的解决方案。我们分别研究了两种具有高斯噪声（连续）和伯努利噪声（离散）的扩散模型，并设计了有效的推理计划来提高解决方案的质量。我们在两个经过充分研究的 NPC 组合优化问题上评估我们的方法：旅行商问题 (TSP) 和最大独立集 (MIS)。实验结果表明，DIFUSCO 的性能明显优于之前最先进的神经求解器，将 TSP-500 上的真实值与神经求解器之间的性能差距从 1.76% 改善到 0.46%，在 TSP-500 上从 2.46% 改善到 1.17%。 1000，TSP-10000 从 3.19% 到 2.58%。对于 MIS 问题，DIFUSCO 在具有挑战性的 SATLIB 基准测试中优于之前最先进的神经求解器。

一、Introduction

组合优化 (CO) 问题是涉及在离散空间中寻找最优解的数学问题。它们是计算机科学中的基本挑战，尤其是 NP 完全 (NPC) 类问题，被认为在多项式时间内难以解决。传统上，NPC 求解器依赖于整数规划 (IP) 或手工启发式算法，这需要大量的专家努力才能逼近接近最优的解决方案。

第三段是对图扩散模型使用的简介：受最近扩散模型在概率生成领域取得的显着成功的推动[102,40,94,120,96]，我们引入了一种名为 DIFUSCO 的新颖方法，它代表基于图的组合优化扩散求解器。为了将扩散模型的迭代去噪过程应用于基于图的设置，我们将每个 NPC 问题表述为找到一个 {0, 1} 值向量，该向量指示任务·········候选解决方案中节点或边的最佳选择。然后，我们使用基于消息传递的图神经网络 [61,36,29,107] 对每个实例图进行编码并对损坏的变量进行去噪。这种基于图的扩散模型从新的角度克服了之前神经NPC求解器的局限性。首先，DIFUSCO 可以通过几个 (≪ N ) 去噪步骤并行地对所有变量进行推理（第 3.3 节），避免了自回归构造求解器的顺序生成问题。其次，DIFUSCO 可以通过迭代细化对多峰分布进行建模，这减轻了先前非自回归构造模型的表达能力限制。最后但并非最不重要的一点是，DIFUSCO 通过监督去噪以高效稳定的方式进行训练（第 3.2 节），解决了基于 RL 的改进启发式方法的训练可扩展性问题。

我们应该指出，最近文献中已经探讨了利用基于扩散的生成模型来解决 NPC 问题的想法。特别是，Graikos 等人。 [32]提出了一种基于图像的扩散模型，通过将每个 TSP 实例投影到 64 × 64 灰度图像空间，然后使用卷积神经网络（CNN）生成预测解图像来解决欧几里得旅行商问题。这种基于图像的扩散求解器和我们的基于图的扩散求解器之间的主要区别在于，后者可以通过相应的随机变量显式地建模节点/边选择过程，这是制定 NPC 问题的自然设计选择（因为大多数它们是在图表上定义的），而前者不支持这种理想的形式主义。尽管基于图的建模已被用于构造性 [64] 和改进启发式 [20] 求解器，但据我们所知，之前尚未研究过如何使用基于图的扩散模型来解决 NPC 问题。

我们研究了 DIFUSCO 框架内两种类型的概率扩散建模：使用高斯噪声的连续扩散