一不小心又发了篇CCF-A:机器学习+组合优化,一看就是真正的版本答案!

组合优化作为研究热点,近年来备受关注,而利用机器学习求解组合优化问题更是前沿趋势,极具创新潜力。组合优化广泛应用于物流、金融、制造等领域,在提升决策精度和效率方面发挥着关键作用。

传统方法如穷举法或近似算法虽能解决问题,但在面对复杂现实场景时,往往因计算成本高昂、效率低下而难以满足需求。相比之下,机器学习凭借强大的数据驱动能力和模式识别特性,为复杂组合优化问题提供了全新的解决方案。

为帮助大家紧跟学术前沿,我系统梳理了当前热门的十几种求解方法,这些资源不仅展示了机器学习在组合优化中的多样化应用,还为研究者提供了宝贵的参考工具。无论是科研探索还是实际应用,都值得深入挖掘!

全部论文+开源代码需要的同学看文末!

一、On Representing Mixed-Integer Linear Programs by Graph Neural Networks

方法

1. MILP的图表示
  • 将混合整数线性规划(MILP)表示为带特征的加权二分图:
    • 顶点类型:约束顶点和变量顶点

    • 顶点特征:约束顶点的特征包含约束的右侧值和类型,变量顶点的特征包含目标系数、变量边界和整数性标识

    • 边权重:对应约束矩阵的非零元素值

2. GNN架构设计
  • 采用消息传递机制的双向GNN:
    • 初始化嵌入:通过可学习的映射函数将顶点特征投影到隐空间

    • 多层消息传递:通过约束→变量和变量→约束的双向信息聚合更新顶点表示

    • 输出层:针对图级任务和节点级任务分别设计聚合方式

创新点

  1. 理论局限性发现

    • 首次严格证明GNN在通用MILP问题表示中的根本性局限,揭示WL测试的区分能力不足以处理所有MILP实例

  2. 可折叠问题定义

    • 提出可折叠MILP的数学定义,描述使GNN失效的问题结构特征

    • 建立不可折叠 MILP类,证明其GNN可表示性

  3. 随机特征增强方法

    • 提出通过添加随机顶点特征打破对称性的通用方案

    • 理论证明该方法可使任意MILP实例以概率1变为不可折叠

  4. GNN表达能力边界刻画

    • 建立MILP-GNN的分离能力与WL测试的等价关系

    • 给出GNN在MILP问题上表达能力的形式化上下界

  5. 应用指导价值

    • 为GNN在分支定界、割平面选择等MILP求解环节的应用提供理论依据

    • 揭示实践中随机特征对GNN性能提升的数学本质

论文链接:https://arxiv.org/pdf/2210.10759

二、A GNN-Guided Predict-and-Search Framework for Mixed-Integer Linear Programming

方法

  1. 预测模块(Predict)

    • 图神经网络(GNN)建模:将MILP实例表示为二分图,通过多层半卷积聚合节点特征。

    • 条件分布学习:利用能量函数定义解空间的条件概率分布,通过加权样本学习变量的边际概率。

    • 损失函数设计:采用KL散度衡量预测分布与真实分布的差异,分解为单变量交叉熵损失的加权和。

  2. 搜索模块(Search)

    • 信任区域构建:基于预测的边际概率选择部分变量,定义邻域约束。

    • 子问题求解:将邻域约束添加到原MILP问题,调用求解器快速搜索高质量可行解。

  3. 关键技术

  • 半卷积层设计:交替聚合变量节点与约束节点的信息,使用多层感知机更新节点特征。

  • 加权样本策略:通过目标值对可行解进行指数加权,减少对最优解的依赖。

  • 动态参数选择:根据问题类型自适应调整(k0,k1,Δ),平衡搜索空间大小与求解效率。

创新点

  1. 预测-搜索融合框架

    • 首次将GNN预测与信任区域搜索结合,避免传统端到端方法直接固定变量导致的次优解或不可行问题。

  2. 条件概率分布建模

    • 提出基于能量函数的加权样本学习策略,通过边际概率表征解空间分布,降低高质量训练样本收集成本。

  3. 灵活邻域搜索机制

    • 设计ℓ1范数约束的信任区域,相比固定策略扩展可行空间,理论证明其解质量更优。

  4. 通用性与高效性

    • 框架不依赖问题特定结构,在4类公开MILP数据集上平均降低SCIP/Gurobi原始间隙51.1%/9.9%,显著优于神经分支定界等对比方法。

  5. 轻量级特征工程

    • 提出仅包含目标系数、约束统计量等11维特征的二分图表示方法,无需预求解即可高效提取。

论文链接:https://arxiv.org/pdf/2302.05636

关注下方《AI前沿速递》🚀🚀🚀
回复“C270”获取全部方案+开源代码
码字不易,欢迎大家点赞评论收藏

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值