Unifying Offline and Online Multi-graph Matching via Finding Shortest Paths on Supergraph

最新推荐文章于 2023-02-10 21:45:55 发布

hithithithithit

最新推荐文章于 2023-02-10 21:45:55 发布

阅读量373

点赞数 1

分类专栏：论文文章标签： shortest path 最短路径多图匹配

本文链接：https://blog.csdn.net/qq_38901850/article/details/121722407

版权

论文专栏收录该内容

9 篇文章 1 订阅

订阅专栏

Prefix Knowledge:

图匹配：什么是图匹配1

什么是图匹配2

一阶相似度：Network Embedding_LINE - 简书 (jianshu.com)

二阶相似度：Network Embedding_LINE - 简书 (jianshu.com)

3阶代表相似变换的不变性，4阶代表仿射变换的不变性

成对匹配：

超图：超图概念理解

循环一致性：循环一致性对抗生成网络

Abstract

本文从离线批处理模式和在线模型两方面考虑了多图匹配问题。我们探讨了成对匹配的循环一致性概念，并将问题表述为在超图上寻找最优组合路径，其顶点是图，边权是关于一致性和亲和力的得分函数。通过理论研究，我们证明了离线和在线超图上的MGM分别可以转化为求所有成对最短路径和单源最短路径。我们采用Floyd算法和最短路径快速算法，来有效地找到最优路径。大量的实验结果表明，我们的方法超越了最先进的MGM方法。

Introduction

GM意指给定一个相似性模型，找到两个或以上图之间的节点对应关系。不同于只考虑节点单向亲和点匹配，GM使用了二阶或高阶信息对局部噪声进行更强的鲁棒性匹配。由于其np完备性，现有的方法大都采用近似解，对于二图匹配，一般形式可以写成以下二次分配规划问题。

$J(X) = \underset{X\epsilon \{0,1\}^{n_{1}*n_{2}}}{min}vec(X)^{T}Kvec(X)$

图中X是表示节点对应关系的（偏置）置换矩阵；K表示亲和矩阵，对角线表示两个图之间的节点对节点亲和（边和即亲和）；vec表示输入矩阵的列向量化。虽然在两图匹配上有大量的工作，但是转移到MGM是一种趋势。主要原因有：1、多图可以使用信息融合技术；2、无论是离线批处理还是在线增量设置，实际问题经常涉及到多个图。特别的是，在实际问题中图片的收集是按顺序进行的，所以IMGM（增量多图匹配,incremental multiple graph matching）颇受关注。例如在视觉SLAM和里程计中，图片按顺序收集，用于顺序匹配。以前发现的蛋白质也可加入新发现的蛋白质。对于现存的图，IMGM试图通过搜索以前的匹配结果来高效地匹配新的图形。

本文考虑了离线联合匹配和在线增量匹配地问题。离线是指传统地多图匹配场景，对所有地图形进行批量处理，进行联合匹配。在线匹配意味这图形是按顺序到达地，需要增量匹配来处理新到达的图形。以前的图形都致力于研究离线批量处理。本文，我们使用超图的观点来看待两个图之间的初始匹配，超图中的每个顶点表示要匹配的图，边可以表示成携带成对的匹配信息。成对匹配的组合链可以看作超图中的一条路径。在此机制下，我们首次证明了离线MGM可以被表述为一个最短路径问题，并用动态规划即Floyd算法来解决。此外，我们还首次发现在线MGM可以表述为单源最短路径问题，并且可以用最短路径快速算法来解决。相反，最相关的工作忽略了离线MGM的基于组合链机制的动态编程特性，这导致了一种简单且低效的组合路径查找方法，因此对于其增量版本，它以开箱即用的方式重用了离线MGM求解器。

贡献：1、通过对MGM的超图视图，将成对匹配组合视为超图上的路径，将MGM转化为一个最短路径问题。我们对组合策略的行为进行了细致的数值分析，并在经典Floyd动态规划算法的基础上设计了一种成对匹配的更新方法，称为MGM-Floyd。2、对于在线MGM，我们在经典最短路径算法的启发下，设计了一种新的方法。它可以有效地利用现有的匹配来匹配新的图。这种方法被称为MGM-SPFA，作为唯一可用用于比较的baseline，它比任何的SOTA模型增量匹配方法都要准确。3、在MGM-SPFA的基础上，我们通过聚类图提出了一个快速的版本，并在每个聚类中执行MGM-SPFA。该方法比MGM-SPFA更高效，比IMGM更精确。

Related Work

对于多图匹配，研究者经常将其转为为正则化模型，文献中广泛采用和研究正则化的方法是循环一致性。一般来说，它是指图 $G_{i}$ 和 $G_{j}$ 之间的双射对应于通过中间的图 $G_{k}$ 导出的双摄对应一致：意即， $X_{ij} = X_{ik}X_{kj}$ 。显然，一致性是多图完美双摄的必要条件，并成为重要的线索，特别是考虑到在实践中，亲和性往往会由于噪声等原因而产生偏差。

利用循环一致性正则的3个有代表性的方法：1、直接利用每对图的亲和性结合一致性正则化（或硬一致性约束）进行优化。在[28]中，通过使用一组偏置 $\{{X_{rk}}\}_{k=1}^{N}$ 编码严格遵守一致性的二图匹配，其他的匹配可以被循环表示为 $X_{i,j}=X_{ri}^{T}X_{rj}$ 。从这种意义上来说，可以将参考图 $G_{r}$ 视作一个中心基础。与这种集中式的方法相比，[4]设计了一种更加分布式的方法。本文将所有两图匹配 $\{{X_{rk}}\}_{i,j=1,1}^{N,N}$ 作为解进行计算，将亲和力评分和一致性共同建模在目标函数中进行优化。因此，一致性扮演着一个软规则化的角色。

而第二组则采用[29]、[30]、[31]等方法，尝试将初始(有噪声的)配对结果作为输入，并尝试通过后处理恢复周期一致的解决方案。频谱技术[19]，[20]，[32]的发展，以提取一致匹配的光谱(顶部特征向量)的所有假定匹配的矩阵。其基本原理是，该问题可以表述为二次整数规划，可以松弛为广义瑞利问题[20]。在开创性的作品[19]中，作者展示了精确恢复的理论条件。他们提出了一种凸松弛方法，通过所有初始匹配找到与输入矩阵叠加最近的正半定矩阵来估计周期一致匹配。在[21]中，改进是通过假设变量矩阵的基础秩可以可靠地估计，允许部分匹配，而MatchALS[22]进一步改进了部分匹配。[21]，[22]的一个缺点是使用一个过大的+来容纳一个灵活的宇宙，这会导致很高的计算成本。一个自然的想法是提取< n+个常见的内嵌体。在这方面，[5]解决了一个新的分解模型，利用可伸缩的块坐标下降技术被开发出来。也有一些解决分布式多图匹配问题的方法。[25]提出了一种图聚类的贪心构造方法，并得到了理论支持。在[24]中，作者设计了一个分散版本的谱方法[20]。在最近的工作[33]中，消息传递算法被用来解决MGM问题，它考虑了一阶/二阶亲和以及循环一致性的优化。

对于顺序到达的图的增量多图匹配(IMGM)的设置，它很少受到关注，直到[6]中提出了一种最近的方法。在[34]中也考虑了增量数据关联，但只考虑了一阶节点相似度，并且所提出的方法仅适用于小规模数据。与我们最相关的方法是CAO-C(及其衍生物CAO-UC, CAO-PC)[4]和增量方法IMGM[6]。它们都采用基于组合的策略来生成新的成对匹配，这也是我们方法中使用的基本步骤。而我们的方法与他们有很大的不同，我们基于图论(Floyd和SPFA)提出了一个更有原则的视角来有效地寻找作曲路径。我们的方法是建立在仔细的理论分析的基础上的，这在文献中是新的。基于这些发现，我们在一个统一的视角下，开发了线下和线上MGM的方法。

Proposed Unified Approaches

Definition1

给出N个图 $\{G_{k}\}_{k=1}^{N}$ 和对匹配 $\mathbb{X} = \{X_{ij}\}_{i=1,j=i+1}^{N-1,N}$ ，定义一元一致性： $C_{u}(K,\mathbb{X})=1-\frac{\sum_{i=1}^{N}\sum_{j=i+1}^{N}||X_{ij}-X_{ik}X_{kj}||_{F}/2}{nN(N-1)/2}\epsilon (0,1]$ (2)

Definition2

给出N个图 $\{G_{k}\}_{k=1}^{N}$ 和对匹配配置 $\mathbb{X}$ ，对于每个图对 $G_{i} \ and\ G_{j}$ ，成对一致性可被表示为： $C_{p}(X_{ij},\mathbb{X})=1-\frac{\sum_{k=1}^{N}||X_{ij}-X_{ik}X_{kj}||_{F}/2}{nN}\epsilon (0,1]$ (3)

Definition3

给出N个图 $\{G_{k}\}_{k=1}^{N}$ 和 $\mathbb{X}$ ，定义整体一致性为：

$C(\mathbb{X}) =\frac{\sum_{k=1}^{N}C_{u}(K,\mathbb{X})}{N}\epsilon (0,1]$ (4)

3.1 Movitation and theoretical study

我们对MGM也采取了超图的观点，这是建立在我们的理论研究之上的。值得注意的是，本文的贡献并不在于超图的公式，而在于我们的理论分析以及由此产生的MGM高效有效的算法。

在一个超图 $H = \{V=\{G_{1},...,G_{N}\},E=\{\mathbb{X}\}\}$ ，顶点和边表示匹配G和成对的X。其中一个目标是查找最优的 $X_{ik_{1}}X_{k_{1}k_{2}}...X_{k_{n}j}$ 组合去找到最有的 $X_{ij}$ 。由于它是一个完备图，每个成对匹配的组合可以看作是一条从 $G_{i} \ to \ G_{j}\ via \ G_{k_{1}},G_{k_{2}}...,G_{k_{n}}$ 的路径。找到 $\mathbb{X}$ 上最优的 $X_{ij}$ ，相当于从上找到一个最优的 $G_{i}$ 到 $G_{j}$ 的路径。

为了找到一条最优的路径。有必要去定义匹配的分数，我们使用[4]中的分数函数以其良好的泛化性。

$S(X_{ij},\mathbb{X})=\overbrace{(1-\lambda)J(X_{ij})}+\overbrace{\lambda C_{p}(X_{ij},\mathbb{X})}$ (5)

加号左边是相似度分数，右边是成对一致性分数，不明白的可以看上面的定义3.本论文的剩余部分，为了简洁起见，我们将在S中省略 $\mathbb{X}$ 。一定程度上， $S(X_{ij})$ 被视作H的距离或者权重。

3.2 Offline multiple graph matching

在超图地视角中，离线多图匹配旨在超图的任意两个顶点初始匹配地最优组合路径。迭代的寻找最好的中间体来改进合成路径。但是这种方法找到的路径长度不会超过$2^{T}$,其中T是迭代的次数。为了克服这一方法，提出了一种动态规划方法MGM-Floyd，这种方法是基于Floyd的最短路径方法，具体算法下图所示。

3.3 Online multiple graph matching

在线多图匹配意指将刚刚到达的图片$G_{N}$和之前的N-1张图片进行匹配。在超图中，这相当于从刚刚到达的图中去选择一个最短路径，类似于最短路径问题。因此，提出了一个在线方法MGM-SPFA，这是一个单源最短路径方法。具体算法描述见下图。

Summary

本文研究了在超图上寻找最优组合链以产生新的MGM匹配的问题。通过对相似度评分和一致性的组合链行为进行细致的数值研究，我们将离线和在线MGM分别定义为在超图上寻找所有成对最短路径和单源最短路径的任务。设计的方法对应于Floyd法和SPFA。我们还开发了基于图聚类的在线MGM加速版本FastSPFA。相对于同级方法，在合成和真实数据上实现了优越的性能。

看不下去了。。。。。。。。。。就这样了。领域不适应症状严重

hithithithithit

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
Unifying Offline and Online Multi-graph Matching via Finding Shortest Paths on Supergraph

Abstract 本文从离线批处理模式和在线模型两方面考虑了多图匹配问题。我们探讨了成对匹配的循环一致性概念，并将问题表述为在超图上寻找最优组合路径，其顶点是图，边权是关于一致性和亲和力的得分函数。通过理论研究，我们证明了离线和在线超图上的MGM分别可以转化为求所有成对最短路径和单源最短路径。我们采用Floyd算法和最短路径快速算法，来有效地找到最优路径。大量的实验结果表明，我们的方法超越了最先进的MGM方法。Introduction GM意指给定一个亲和性模型，找到...
复制链接

扫一扫