Nat. Mach. Intell. | 一文了解超图神经网络约束组合优化

2024年5月30日，来自Nasimeh Heydaribeni研究团队的Xinrui Zhan、 Ruisi Zhang 、Tina Eliassi-Rad和 Farinaz Koushanfar在_Nature Machine Intelligence_期刊上发表了一篇题为“Distributed constrained combinatorial optimization leveraging hypergraph neural networks”的研究文章。该文章提出了一种名为HypOp的新框架，通过利用超图神经网络（HyperGNN）在多个方面提升了组合优化问题的解决能力。HypOp不仅将此前的成果推广到具有任意成本函数的高阶约束问题，还通过引入分布式和并行训练架构，显著提升了大规模问题的可扩展性。同时，通过迁移学习HypOp展示了在不同问题形式中的泛化能力，并通过模拟退火技术提高了解决方案的准确性。研究表明，HypOp在多个基准示例中取得了显著进展，包括超图MaxCut、可满足性和资源分配问题，并展示了在药物发现中的应用。HypOp不仅在性能上优于现有的无监督学习求解器和通用优化方法，还显著减少了运行时间，展示了其在科学发现中的巨大潜力。

**关键字：**超图神经网络、模拟退火、迁移学习、约束组合优化

引言

组合优化问题在科学和工程领域中有着广泛的应用，涵盖了资源分配、实验设计、任务调度等多个方面。这类问题的目标是从大量可能的选择中找到最佳或接近最佳的解决方案，以支持决策过程。然而，组合优化问题通常被证明是NP难的，这使得大多数现有求解器在处理大规模数据集和复杂约束条件时显得力不从心。

近年来，图神经网络（Graph Neural Networks, GNN）在解决二次成本组合优化问题方面取得了显著进展。GNN利用图结构信息，通过学习节点和边之间的复杂关系，能够有效地处理图上的优化问题。然而，对于具有更高阶约束的通用组合优化问题，现有的GNN方法仍然面临挑战。高阶约束意味着涉及多个变量之间的复杂相互作用，这种情况在许多科学现象中普遍存在，如生物网络、社会网络和化学反应网络等。

为了解决这一挑战，研究团队提出了一种新的框架****HypOp。该框架通过利用**超图神经网络（Hypergraph Neural Networks, HyperGNN）**来处理高阶约束的组合优化问题。与传统的图结构不同，超图可以表示多个节点之间的高阶关系，这使得HyperGNN能够更好地捕捉复杂系统中的多变量交互。此外，HypOp引入了一种新的分布式和并行训练架构，以提高处理大规模问题的可扩展性。

HypOp框架在以下几个方面推进了组合优化问题的解决：

(1) 提出了一种名为HypOp的可扩展的基于无监督学习的优化方法，用于解决具有任意成本函数的大范围约束组合优化问题。值得注意的是，研究团队在基于学习的优化领域中使用了HyperGNNs来处理具有高阶约束的一般组合优化问题。

(2) 通过引入分布式和并行架构进行HyperGNN训练，使得可以扩展到更大规模的问题。

(3) 通过将解决一组成本/约束的学习经验迁移到解决同一超图的另一组成本/约束上，展示了其对其他问题公式的普遍性。

(4) 结合精细调整（SA）和分布式训练技术，大幅提升了解决方案的准确性并提高了运行时间。

(5) 通过对各种组合优化问题进行广泛的实验，展示了HypOp相对于现有的基于无监督学习的求解器和通用优化方法的优越性。研究团队解决了一组科学问题，包括超图MaxCut问题、可满足性问题（3SAT）和资源分配问题。

(6) 通过解决国家药品代码（NDC）药物物质超图上的超图MaxCut问题，展示了HypOp在科学发现中的应用。

为了验证HypOp的有效性，研究团队在超图MaxCut、可满足性和资源分配等多个组合优化问题上进行了广泛的实验。实验结果表明，HypOp不仅在性能上优于现有的无监督学习求解器和通用优化方法，还显著减少了运行时间，展示了其在科学发现中的巨大潜力。

文章结构如下：首先，研究团队详细描述了所考虑的组合优化问题及其挑战。接着，介绍了HypOp框架的具体方法，包括超图建模、HyperGNN训练、映射与优化、以及分布式与并行训练算法。然后，展示了HypOp在多个基准测试上的实验结果，分析了其性能优势和可扩展性。最后，讨论了HypOp在科学发现中的应用前景，并总结了这篇文章的主要贡献和未来研究方向。

研究内容

研究团队提出了HypOp框架，旨在解决带有高阶约束的组合优化问题。组合优化问题广泛应用于资源分配、实验设计和任务调度等领域，其目标是从众多可能的选择中找到最佳或接近最佳的解决方案。高阶约束意味着涉及多个变量之间的复杂相互作用，这种情况在许多科学现象中普遍存在，如生物网络、社会网络和化学反应网络等。HypOp通过利用超图神经网络（HyperGNN）和分布式并行训练架构，在多个基准测试中展示了卓越的性能和可扩展性。

研究HypO