bp算法运行太慢_求解大规模组合优化的消息传递算法论文与代码解读

《Practical Message-passing Framework for Large-scale Combinatorial Optimization》

图形模型（GM）为大数据分析提供了一种流行的框架，因为它通常利用基于图形的“局部”结构来进行分布式和并行处理。 它对相关的随机变量建模，特别是最大乘积信念传播（BP）是GM中最流行的启发式方法。 很多论文已证明BP在某些条件下可以解决几类组合优化问题。

因此，我们探索了使用BP解决通用组合优化问题的前景。 挑战在于，在实践中，BP收敛可能非常缓慢，即使收敛，BP决策也经常违反原始问题的约束。 本文提出了一个通用框架，该框架使我们能应用基于BP的算法来为任意组合优化任务计算近似可行解（感觉作者说过头了，框架的确可迁移，但迁移后效果可能没有保障）。 主要的新颖成分包括：（a）仔细初始化BP消息，（b）BP更新时的混合阻尼（damping）（不算新颖吧），及（c）使用BP信念的后处理。 利用该框架，我们为几个大型组合优化问题开发了并行算法，包括最大权重匹配，顶点覆盖和独立集合。 我们证明了我们的框架提供了很高的近似率，通过并行化加快了处理速度，并允许涉及数十亿个变量的大规模处理。

代码：kaist-ina/bp_solver

I. INTRODUCTION

图形模型（GMs）为建模和处理现实世界中的大规模数据应用提供了有用的框架。 从传统的大数据分析，如页面排名[1]和图形挖掘[2]，到最近的深度学习[3]，图形模型通常用于处理大规模数据集，因为它利用基于图形的“局部”结构实现快速并行。 GraphLab [4]，GraphChi [5]和GraphX [6]等几种现代编程模型可在GM上进行分布式并行计算。

通用汽车应用中最常见的计算任务之一就是计算最有可能分配给随机变量的函数，即所谓的MAP（Maximum-A-Posteriori）估算值。 可将其视为解决大规模优化问题的方法，这对大数据分析而言正变得越来越重要，因为它带来了主要的计算瓶颈（此处不通顺，望见谅）。

因此，我们探索使用GM解决大规模优化问题的前景。 特别地，我们提出了一种基于消息传递的算法来解决基于信念传播（BP）的组合优化问题。 （最大积）BP算法是一种经过深入研究的启发式算法，已广泛用于近似解决MAP优化任务。 它是一种经过验证的迭代消息传递算法，可为树状GM提供精确的解决方案。 但是，我研究者对于BP对有循环GM的性能的了解非常有限。

我们的目标是设计一种基于BP的高精度近似算法，以解决通用的大规模组合优化问题。 这种算法的优势在于，它固有地适合于并行实现，从而能快速并确保可伸缩性。 然而，挑战在于我们不能保证BP算法正确无误，甚至不能收敛。即使收敛到正确的解决方案，它的收敛速度对于解决大型实例还是太低了。 特别地，当存在多个最优解（多个解）时，已知BP在许多情况下都会振荡[7，8，9]。 人们可以在不等待收敛的情况下停止BP迭代，但是BP算法通常会产生不可行的解决方案，即违反了目标组合优化的约束。

贡献

我们通过设计一个通用的基于BP的框架来解决这些问题，该框架计算高度准确和可行的近似解。 基本思想是将截断的BP算法与现有的启发式方法结合使用，以确保高逼近率的方式实施可行的解决方案。 在较高级别，该算法采取以下步骤。

首先，给定一个优化问题，我们在GM的MAP框架中表示该问题。

其次，我们运行相应的BP消息传递并“部分”解决优化问题。 但是，由于BP通常不会快速收敛，因此我们仅运行固定数量的BP迭代； 我们不等待收敛。相反，为提高BP决策的质量，我们（a）仔细初始化BP消息，（b）向权重添加一个小的噪声，并（c）在BP消息更新上应用混合阻尼策略（第III-B节）。

最后，将现有的启发式方法用作后处理程序，以增强BP决策的可行性。 具体而言，我们通过使用BP信念替换原始问题的参数（例如，边权重），针对给定的组合优化问题运行已知的启发式方法。 这样可以确保该框架适用于任何组合优化问题，同时获得比现有启发式方法更高的近似率。

总之，本文做出了三个关键贡献：

1）基于BP的实用算法设计：就我们所知，本文是第一个提出用于设计解决大规模组合优化问题的基于BP的算法的通用概念的论文。

2）并行实现：我们证明了该算法易于并行化。 对于最大加权匹配问题，算法与最新的精确算法相比，速度提高了71倍，而精确度仅降低了0.1％[10]。

3）广泛的经验评估：我们针对各种综合和真实数据集的三种不同组合优化问题评估算法。评估表明，与其他已知的启发式方法相比，新框架显示出更高的准确性。

相关工作

在过去的几年中，不少文献已针对一些经典的组合优化问题对BP的收敛性和正确性进行了分析研究，包括匹配[7，11，12]，完美匹配[13]，最短路径[8]，独立集[14]， 网络流量[9]和顶点覆盖[15]。 这些模型的重要共同特征是，当组合优化的线性规划（LP）松弛严格，即没有积分间隙时，BP收敛到正确的分配。 但是，LP紧密性是保证BP收敛到最优解的必然条件，这是这些理论研究对更广泛适用性的主要限制。 此外，即使BP收敛到最优解，其收敛速度对于解决大型实例也常常太慢。 也有针对特定组合优化实例的基于BP的算法的经验研究，包括旅行商[16]，图分区[16]，斯坦纳树[17]和网络对齐[18]。 但是，它们的重点不在大型实例上，且所提出算法的运行时间通常相对于输入大小呈超线性增长。 相比之下，我们提供了一个通用框架来设计基于BP的可扩展并行算法，该算法广泛适用于任意大规模组合优化问题。

II. PRELIMINARIES

A.图形模型和信念传播

如果n（二进制）随机变量Z = [Z_i]∈{0，1}^n的联合分布按以下因素分解，则称之为图形模型（GM）：对于z = [z_i]∈{0，1}^n，

（1 例如，如果z = [0，1，0]且α= {1，3}，则z_α= [0，0]。）

这意味着，计算MAP分配需要我们比较所有可能z的Pr [z]，除非存在因子F和变量z的二分图即因子图具有有界的树宽[19]，否则这通常在计算上是难于处理的（即NP-hard）。

最大乘积置信度传播（BP）是一种流行的启发式算法，用于逼近GM中的MAP分配。 BP是迭代实现的； 在每次迭代t时，BP在每个变量zi和每个关联的α∈Fi间维护四个消息

其中Fi：= { α∈F：i∈α}。 消息更新如下：

通过将（1）和（2）组合为：可以降低消息的复杂性：

给定一组消息

所谓的BP边际信念计算如下：

该BP算法输出

，其中

已知如果因子图是一棵树且MAP分配是唯一的，则z^BP在经过足够的迭代次数后会收敛到MAP分配。但是，如果图包含循环或MAP不是唯一的，则通常不能保证BP算法收敛于MAP分配。

B.组合优化的信念传播

Max-product BP以用于为任何“离散”优化计算近似解。 本节以最大重量匹配问题为例进行说明。 给定一个图G =（V，Eÿ