基于大语言模型的组合优化

摘要：组合优化（Combinatorial Optimization, CO）对于提高工程应用的效率和性能至关重要。随着问题规模的增大和依赖关系的复杂化，找到最优解变得极具挑战性。在处理现实世界的工程问题时，基于纯数学推理的算法存在局限性，无法捕捉到优化所需的上下文细微差别。本研究探索了大型语言模型（Large Language Models, LLMs）在解决工程组合优化问题中的潜力，利用其推理能力和上下文知识。我们提出了一种基于LLM的新框架，该框架结合了网络拓扑和领域知识，以优化设计结构矩阵（Design Structure Matrix, DSM）的排序——这是一个常见的组合优化问题。我们在多个DSM案例上的实验表明，所提出的方法比基准方法具有更快的收敛速度和更高的解质量。此外，结果表明，尽管LLM的选择不同，融入上下文领域知识显著提高了性能。这些发现凸显了LLMs通过结合语义和数学推理来解决复杂现实世界组合优化问题的潜力。这一方法为现实世界中的组合优化开辟了新的范式。

组合优化现行解决方案

传统上，工程中的组合优化问题通常通过以下过程来解决：首先将问题建模为数学模型，然后使用特定的算法或启发式方法进行求解，最后在实际工程背景下进行解释[4]。这种问题求解和解释阶段的分离存在局限性，无法捕捉到现实世界问题优化所需的上下文细微差别。

LLM决策理论支持

1、近年来，大型语言模型（Large Language Models, LLMs）在自然语言生成、语义理解、指令跟随