论文解读 | 基于图的强化学习与混合整数规划

原创 | 文 BFT机器人

01

背景

本文探讨了自主机器人装配发现（RAD）问题，这个问题在建筑行业中具有重要意义。

建筑行业普遍希望提高资源利用效率，通过更有效地重复使用现有材料，实现减少环境影响并朝着循环经济的发展目标迈进。为了达到资源的有效再利用，需要将智能算法与自主执行相结合。

研究的焦点是RAD问题，即机器人代理如何根据一组可用的建筑模块来推断出需要满足的抽象3D目标形状。与其他已知指令的装配问题不同，RAD代理既没有关于使用哪些模块以及它们最终位置的先验信息，也没有关于执行顺序的先验信息。相反，RAD代理需要通过发现建筑模块的不同组合方式，找到适当的动作序列，并将其实施到实际装配中。

通过本文的研究，提出了一种基于全局优化、强化学习和运动规划的方法，以实现高效稳定的装配过程。这种方法利用全局优化技术来搜索可能的组合和动作序列，强化学习用于指导代理在不确定环境中做出决策，而运动规划则用于生成机器人执行动作的路径。

通过将这些技术结合起来，本文的方法能够有效地解决RAD问题，并实现高效稳定的装配过程。这将对建筑行业的资源利用效率产生积极影响，推动行业朝着更可持续的方向发展。

图1模拟的RAD环境(左)和本文提出的分层方法的所有三个组件(右)。

02

创新点

1. 本篇论文的创新点在于提出了一种基于全局MILP优化和学习局部基于图的RL装配策略的结构化、层次化方法，以实现高效稳定的自主机器人装配发现。这种方法通过将全局优化与局部RL策略相结合，可以可靠地处理复杂的RAD实例。此外，该方法还利用了低级别的GAMP来处理大规模的动作空间，从而提高了效率。

2. 本篇论文的另一个创新点在于，该方法跳过了确定高层次装配顺序的复杂性，而是将全局结构推理与局部顺序决策相结合。这种方法可以有效地处理巨大的动作空间，并且具有可转移性和泛化性，可以适用于不同目标形状和不同类型/数量的模块实例。此外，该方法还提供了添加搜索以进一步提高可靠性和鲁棒性的灵活性。

03

算法具体介绍

本文介绍了一种用于自主机器人装配发现（RAD）问题的三层混合方法。

RAD问题是指在没有任何先验信息的情况下，机器人需要推理出如何组合建筑模块以实现给定的抽象三维目标形状。为了解决RAD问题中的挑战，本文提出了一种结构化的分层方法。

该方法的三个层次分别是全局资源分配、任务排序和动作执行。在全局资源分配层面，采用了混合整数线性规划（MILP）的方法来解决全局资源分配问题。在任务排序层面，采用了灵活的、可学习的图神经网络（GNN）来确定任务的顺序。在动作执行层面，通过强化学习方法来执行具体的动作序列。

该方法的优势包括：

1. 结合了全局结构推理和局部顺序决策，以提高效率和准确性。

2. 通过跳过高层次的装配顺序确定复杂度，同时在最低层次利用GAMP（Generalized Assignment and Matching Problem）引入强归纳偏差，有效处理了庞大的动作空间。

3. 具有迁移和泛化能力，可以适应不同目标形状和不同数量/类型的模块。

4. 提供了添加搜索以增加可靠性和鲁棒性的灵活性。该方法在一系列竞争性的模拟RAD任务中进行了实证评估，并展示了在真实环境中的迁移能力。实验结果表明，该方法在性能和鲁棒性方面优于经验和学习基线方法，从而验证了其有效性。

图2说明了使用GNN进行动作选择的过程

04

总结

本篇论文提出了一种全新的机器人装配发现（RAD）的分层方法。

该方法结合了混合整数规划的全局推理、图强化学习以及基于模型的局部决策搜索，并利用机械手关节层面上的抓取和运动规划来实现装配动作。这种组合的方式使得原始问题的庞大组合操作空间能够有效分解，从而产生了强大而可靠的RAD策略。

通过层次结构，该方法能够高效地处理原始问题的巨大组合操作空间，从而实现了稳健、可靠和高效的RAD策略。在一组模拟RAD实验中，该方法得到了验证，并在仅有5%的失败率的同时，实现了对75%的目标形状的平均覆盖率。此外，该论文还展示了如何将这种方法应用于真实世界的RAD场景。

未来的研究方向是如何将这种方法扩展到处理更大范围的对象。这表明该方法具有潜力在更复杂和广泛的装配任务中发挥作用，并为机器人装配发现领域的进一步研究提供了有价值的方向。

论文标题：

Graph-based Reinforcement Learning meets Mixed Integer Programs

 

更多精彩内容请关注公众号：BFT机器人

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。