[论文分享] CEoH：利用大语言模型为新兴优化问题设计启发式算法-CSDN博客

本文链接：https://blog.csdn.net/m0_59235245/article/details/146436043

论文标题：Leveraging Large Language Models to Develop Heuristics for Emerging Optimization Problems

论文链接：https://arxiv.org/abs/2503.03350

摘要

组合优化问题通常依赖启发式算法来生成高效解决方案。然而，手动设计启发式方法既耗费资源又受限于设计者的专业知识。近期人工智能的进展，特别是大语言模型(LLM)的发展，展示了通过进化框架自动生成启发式方法的潜力。现有研究主要关注旅行商问题和在线装箱问题等经典组合优化问题的构造性启发式方法设计。本研究探讨了LLM是否能为小众的、尚未广泛研究的优化问题有效生成启发式方法，并以单位负载预编组问题(UPMP)为例。

作者提出了一种 EoH [1,2] 框架的扩展：基于大模型的上下文启发式演化框架(CEoH)。它在启发式生成过程中引入了问题特定描述以增强上下文学习。计算实验结果表明，CEoH使较小的LLM能够更稳定地生成高质量启发式方法，甚至优于较大的模型。较大的模型无论是否有上下文化提示都表现出稳健的性能。生成的启发式方法展现出对不同实例配置的可扩展性。

研究背景

启发式方法被广泛应用于求解众多领域中的组合优化问题。与精确方法相比，启发式方法可以快速提供良好的解决方案，使其适合实际应用。然而，传统的启发式方法设计需要大量人类专业知识且耗时，使得这个过程在财务上成本高昂。

自动启发式设计减少了对专业人类知识的依赖。遗传编程通常用于进化程序代码以解决优化问题。这些方法虽然有效，但依赖于预定义的搜索空间。人工输入决定了生成启发式方法的允许原语和变异操作。这种依赖可能限制了新方法的发现，特别是在复杂或研究较少的领域。

近期人工智能的进展引入了大语言模型作为解决优化问题的新资源。虽然LLM主要以其自然语言生成能力而闻名，但研究表明它们也能生成代码和解决数学问题。这种更广泛的技能组合可能有助于解决启发式生成的挑战，而无需依赖大型预定义搜索空间。

在组合优化中，LLM通常扮演两个角色:优化器或设计器。基于优化器的方法要求LLM解决问题并返回解决方案，这显示出适度的性能和较少的可扩展性。基于设计器的方法要求LLM创建启发式方法，利用模型生成和改进启发式方法的能力。尽管前景看好，但大多数基于设计器的研究在设计构造性启发式方法时都集中在旅行商问题(TSP)和在线装箱问题(OBPP)等知名问题上。它们在小众优化问题中的应用仍未被探索。

本研究探讨了LLM在为新兴优化问题设计启发式方法方面的潜力。提出了上下文启发式演化(CEoH)框架。该框架通过在启发式生成过程中引入问题特定描述来增强上下文学习，主要贡献如下:

提出了一个基于LLM的自动启发式设计框架，通过引入问题描述来增强模型对特定优化问题的理解。
实验证明了CEoH使较小的LLM能够更稳定地生成高质量启发式方法，甚至在某些情况下优于较大的模型。
以单位负载预编组问题(UPMP)为例，验证了该方法在小众优化问题上的有效性和可扩展性。

方法介绍

CEoH框架

CEoH框架是EoH框架的扩展，它在启发式设计过程中引入了问题特定描述。通过在每个提示中添加"上下文"组件，CEoH使LLM能够更好地理解问题及其约束。结果是一个更明智的启发式生成过程，其中模型使用上下文学习来生成针对UPMP的启发式方法。

与EoH类似，CEoH是一个迭代进化框架，生成和进化启发式方法。每个启发式方法由**「程序代码」和「思想」**表示。

程序代码是具有定义输入和输出的Python函数。
思想描述了LLM在生成启发式方法时的核心想法。

在CEoH的每一代演化中,预训练的LLM通过一组固定次数的提示策略基于父代生成新的启发式方法,每个新方法经评估获得适应度值并加入当前种群,直到完成所有预设提示次数后,将当前种群中表现最优的启发式方法选入下一代。

提示策略

CEoH采用了EoH中的初始化提示I0、探索策略提示E1和E2以及修改策略提示M1和M2。每个提示遵循相同的结构:

任务描述
额外的问题描述(CEoH中的新内容)
父代启发式方法(I0中没有)
策略特定的输出指令
附加指令

额外的问题描述通过指定预期输入的数据结构并阐明它在问题域中应如何解释来增强上下文学习。这部分还包括程序输入和输出的示例来说明预期行为,以及要求模型彻底分析额外问题描述的明确指令。

实验结果

适应度评估

实验结果表明:

CEoH在使用开源模型(Gemma2:27b、Qwen2.5-Coder:32b和DeepSeekV3:685b)时始终优于EoH,产生更好的启发式性能并具有更强的鲁棒性。
GPT-4o:2024-08-06和GPT-4o:2024-11-20无论是否有额外的问题上下文都能找到好的启发式方法。
对于GPT-4o:2024-08-06,使用EoH生成的启发式方法表现优于使用CEoH生成的启发式方法,这表明过多的显式问题信息有时可能会阻碍启发式探索。
最佳启发式方法由Qwen2.5-Coder:32b使用CEoH框架生成,在评估实例上实现了仅**4.35%**的最优性差距。

生成的启发式代码分析

实验比较了由(a)Qwen2.5-Coder:32b CEoH和(b)GPT4o:2024-08-06 EoH生成的最佳评分启发式方法:

Qwen2.5-Coder:32b CEoH启发式方法基于优先级平衡、阻塞惩罚和密度加权评估。它奖励单位负载按降序优先级排序的序列,并惩罚产生阻塞的配置。
GPT4o:2024-08-06 EoH启发式方法采用逻辑变换方法,根据优先级值和通道定位动态调整分数。它对阻塞的单位负载应用指数惩罚,同时奖励可访问的、排序良好的堆栈。

总结

本文开发了一种基于LLM的新框架CEoH,用于为小众优化问题设计启发式方法。主要贡献包括:

提出了CEoH框架,通过引入问题特定描述来增强上下文学习
证明了CEoH在使用较小LLM时的优势,能够更稳定地生成高质量启发式方法

未来研究应该调查哪些类型的LLM在启发式设计中最能从额外的上下文问题描述中受益。此外,还应研究通过LLM为更多小众优化问题设计启发式方法。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述