强化学习+组合优化创新！快速学会登上CCF-A的热门组合

强化学习特别擅长处理高维、非线性及具有复杂约束条件的问题，和组合优化可以说是“天生一对”。其自适应性和策略改进能力，可以让它在未知或动态变化的环境中逐步学习到最优策略，在COP求解上远远优于传统方法。

实际上，这种组合一直是个前沿且相当热门的研究领域，最近在顶会Neurips上已经看见了不少新的突破性成果，比如一种群体强化学习方法Poppy，在四个NP难题上都实现了SOTA，另外还有一种基于GNN的强化学习方法，在解决组合优化问题上参数量减少了83%，同时保持高性能。

所以对于组合优化领域的论文er来说，+强化学习真的是一大创新趋势，尤其是深度强化学习（目前想要在组合优化问题领域发论文真得上DRL），建议感兴趣的同学抓紧。我这边有已经整理好的12篇强化学习+组合优化新论文＆代码，需要参考的可以无偿领~

全部论文+开源代码需要的同学看文末

Graph Q-Learning for Combinatorial Optimization

方法：论文是关于使用GNNs和强化学习（RL）来解决组合优化问题的，作者提出了一种方法，将组合优化问题表示为图序列，并使用强化学习来寻找有前景的解决方案。实验证明，使用图神经网络通过Q-Learning训练的模型在解决组合优化问题上的性能接近最先进的启发式求解器，同时仅使用了六分之一的参数量和更少的训练时间。

创新点；

• 首次将GNNs应用于解决灵活作业车间调度问题（FJSP），并将组合优化问题表示为马尔可夫决策过程（MDP）。

• 在保持与其他算法和基线启发式方法相当性能的同时，仅使用了它们一小部分的参数和训练时间。

• 通过将问题空间以图形表示，所提出的方法不仅限于固定问题规模，能够跨多种规模问题实现通用的元学习。

Reinforcement Learning-Based Formulations With Hamiltonian-Inspired Loss Functions for Combinatorial Optimization Over Graphs

方法：作者将QUBO-Hamiltonian集成到基于强化学习的无监督框架中，解决图论组合优化问题，提出了改进PI-GNN的策略以及两种新的RL架构（GRL QUBO和MCTS-GNN），并在Max-Cut问题上实现了高达44%的约束满足率提升，以展示其在广泛适用性、解决方案质量和收敛模式上的贡献。

创新点：

• 提出了将QUBO-海森堡模型集成到强化学习框架中的策略。

• 设计了一种将蒙特卡罗树搜索与单一GNN结合的策略，通过手动扰动节点标签来进行引导搜索。

• 提出了模糊提前停止策略，以改善PI-GNN在更高密度图中的性能。

Transform then Explore: a Simple and Effective Technique for Exploratory Combinatorial Optimization with Reinforcement Learning

方法：论文提出了一种名为“Gauge Transformation”（GT）的新方法，旨在改善传统强化学习模型在解决组合优化问题时的探索能力。通过GT技术，强化学习代理能够在测试阶段不断改进解决方案，从而提高在组合优化问题上的表现。

创新点：

• GT技术是一种简单但有效的方法，通过在测试阶段让训练好的RL代理逆转其早期决策，从而提高解的质量。

• GT技术显著提高了RL模型在组合优化问题中的探索能力。

• GT技术独立于任何特定的RL模型，可以无缝集成到各种RL框架中。

Winner takes it all: Training performant RL populations for combinatorial optimization

方法：本文提出了一种名为Poppy的群体强化学习方法，旨在通过优化群体整体表现而非单个代理的表现来解决组合优化问题，利用无监督的代理专门化实现多策略的互补性，从而在旅行商问题、容量约束车辆路径问题、0-1背包问题和车间调度问题等四个NP难题上取得了当前最优的强化学习结果。

创新点：

• Poppy通过引入一种RL目标，旨在专门化代理，使其在问题分布的不同子集上表现更佳。

• Poppy采用了一种基于种群的RL方法，通过并行推出多个代理以提高解决方案空间的探索效率。

• Poppy设计了一种高效的训练程序，首先对单个代理进行预训练，然后克隆该代理形成种群。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“强化组合”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏