Graph Matching

最新推荐文章于 2022-09-28 21:30:28 发布
最新推荐文章于 2022-09-28 21:30:28 发布
阅读量1.7k 收藏 14
点赞数 6
分类专栏： 论文阅读笔记 文章标签： 深度学习 机器学习 graph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIWCZ/article/details/120688098
版权

受严骏驰老师讲座内容启发，最近项目中一个关键问题才找到了一些解决途径，为了能够快速对Graph Matching的起源和发展现状有一定了解，从而形成知识体系来更好得解决问题，准备慢下来，把这些知识沉淀下来，写成一篇blog。
(讲座链接：https://www.bilibili.com/video/BV1Zf4y1S7Zr)

Graph Matching 属于一种组合优化问题，图这类数据结构形式在推荐系统、知识图谱等中最为常见，而在计算机视觉领域中，为解决少样本学习或目标检测类别长尾分布等，图结构也有较多工作采用。

1. Graph matching 和 Registration 的区别？

用一句话说：Registration需要在变换空间中寻找一种最有效的变换，这种变换能够使两幅图像之间在某种意义上达到匹配，而Graph matching是一种非参数的模型，只关心point之间和edge之间的对应关系。

在这里插入图片描述

2. 最原始的Graph matching有哪些步骤？

①提取特征(特征检测)：1. SIFT , 2. CNN

在这里插入图片描述
②初始化assignment matrix

a. 1st-order Feature
Node correspondence, 此时是 Feature Matching问题，是linear的。

Node correspondence
b. 2nd-order Feature

此时才是 Graph Matching 问题，是quadratic(二次)的，因此其也被称作**QAP(Quadratic Assignment problem)**问题。

③建立Kp(Kq)存储相似度信息

a. Kp矩阵。

下图中的Cst即是一种相似度计算方式，两两进行计算来填充。

在这里插入图片描述
b. Kq矩阵

在这里插入图片描述
c. Affinity Matrix
进一步得，为了让存储相似度信息更加方便，采用Affinity Matrix代替Kp、Kq存储的相似度信息。

在这里插入图片描述
d. 上图Affinity Matrix的解释：
横纵轴每格代表的节点对相同，事先进行编码。
例如，以左上角为原点，向右向下分别代表着，1a,1b,1c…。

1.对角线(Diagonal)元素20个，代表原Kp矩阵信息，例如1b - 1b，表示1节点和b节点的相似度。
2.非对角线元素则代表原Kq矩阵信息，例如3b - 5c，则代表35这条边和bc边的相似性。

即每个点构成一个超点，形成下图中的 Association Graph。

在这里插入图片描述
④求解目标：找到一个assignment matrix，使得总和相似性最大化

在这里插入图片描述
or:
在这里插入图片描述
注意：这里的vec(X*)是对X*按 列 向量化，变成20X1的矩阵，转置后变成1X20。因此最后三个矩阵相乘是一个标量，对这个标量最大化即可。

3. 有哪些常用的改进手段？

①松弛

当上图中的K矩阵没有特殊性质时，解X*是一个NP-hard问题，因而对于Graph Matching问题，松弛手段的使用是常见的。

a. Spectral Approximation

去掉原始的 离散域限制条件：

在这里插入图片描述
化为模的形式，使得X*向量化后的二范数 为1。
即：

在这里插入图片描述
缺点：松弛后将不太紧凑
优点：求解速度快，利用类似谱方法求解，求特征值、特征向量等等。

相关文章：

在这里插入图片描述

b. Double-stochastic Approximation

一种较为紧凑的松弛策略，仍保留原始不等式约束，将X*原本属于的0、1二值矩阵，松弛到[0,1]这一实数域。
即：

在这里插入图片描述
缺点：速度相较于a.来说慢一些
优点：紧凑

相关文章：

在这里插入图片描述
②考虑更高阶信息

我们在上面的讲解中有提到1st-order Feature和2nd-order Feature，从1st到2nd包含了更多的信息，一个自然而然的想法，是否可以扩展到 3-Order 及以上，形成一个超图，来对更多的信息进行建模泛化。

在这里插入图片描述
但在节点数较多时，相关的组合数会指数爆炸，因而现有的方法还是以二阶为主，但通过图嵌入的方式，有可能将高阶信息向低阶嵌入。

在这里插入图片描述
③K矩阵分解

从上面的描述可以看到，K矩阵是十分稀疏的，其空间规模远大于节点的Kp矩阵和边的Kq矩阵之和，因而找到一种将K矩阵进行分解的方法，用时间来换空间，就很有必要。

在这里插入图片描述最后推导出K矩阵可由上述几个小矩阵(G1、G2、Kp、Kq)做克罗内克(Kronecker)积。
即：

在这里插入图片描述相关文章：

在这里插入图片描述
补充知识：
哈达玛积(Hadamard products)，完全的对应元素相乘，也叫 基本积。
克罗内克积(Kronecker products)，张量积的特殊形式，见百度。

④Path-following optimization

基于分解模型可以提出一个路径跟踪算法，一开始做一个图优化的松弛，把原目标函数变成一个凸函数。图优化的好处在于 对初始解不敏感，最开始能够快速逼近最优解，而后再增大约束，变成凹函数，最终能够到达 自然收敛到离散解的目的，避免了连续域解激活时的偏差。

在这里插入图片描述
⑤小结

传统非机器学习(深度学习)方法，主要有两条路径：
在这里插入图片描述左列：不分解
右列：分解了，空间换时间

4. 从图的两两匹配到多图匹配？

在实际场景中，往往有多个图像需要同时匹配，此时两两图匹配的方式不仅速度较慢，而且还无法利用多个图的整体信息，影响鲁棒性。

在这里插入图片描述相关工作：

在这里插入图片描述相关文章解读，挖个坑，后面写

5. 目标函数建模的优化

多图匹配引入了一些正则，本质上是优化目标函数的建模。在多数Graph Matching问题中目标函数的全局最优解，并不是物理意义的最优解，因而一个自然而然的想法是，能否通过一些学习手段来优化目标函数。

我们回到最初的Graph Matching中，我们是假定了，点与点之间，边与边之间的匹配重要程度是完全相同的，但在现实问题中并不是这样，我们需要对某些点和某些边更注意，这和纯CV里的 注意力机制有些相似。

a. “Learning Graph Matching” TPAMI2009 and " Learning Graphs to Match" ICCV2013

在这里插入图片描述
在这里插入图片描述

6. 基于深度学习的图匹配

a.“Deep Learning of Graph Matching.” CVPR2018 最佳论文提名

在这里插入图片描述
论文中非常详细的反向传播推导，暂时挖个坑，后面再解读。
前向推理的思路是很简单的：
①给定两个图像
②用CNN去提取关键点的特征（即此时可以形成图结构并计算相似性）
③用谱方法SM计算特征值、特征向量（前文有讲解）
④做Matching算平移误差
⑤梯度回传更新CNN权重

本文局限
①SM是一个近似解，并不是针对Graph Matching的最优方案。
②SM复杂度高。
③offset Loss的损失函数有缺陷，类似光流损失函数，对 距离位移敏感。而对于匹配问题，不应该在意形变、物理平面差距，而应该最在意配没有配准。

在这里插入图片描述
即：

在这里插入图片描述
针对上述局限的改进:

b. Learning Combinatorial Embedding Networks for Deep Graph Matching(ICCV19)

在这里插入图片描述

待续

AIWCZ
关注
专栏目录
LBD算法 - Graph matching 图匹配算法分析
Xuefeng_BUPT的博客
09-30 1万+
上一步我们进行了线特征的提取和描述，接下来我们进行线特征的匹配。在此之前我们先通过预处理将一些明显无法匹配的特征给消除，以降低图匹配问题的维度。
基于深度学习的Graph Matching中损失函数的理解
AIWCZ的博客
10-26 711
挖坑
Graph Matching Networks for Learning the Similarity of Graph Structured Objects
05-07
近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 DeepMind 和谷歌的这项新研究聚焦检索和匹配图结构对象这一极具挑战性的问题，做出了两个重要贡献。 首先，研究者展示了如何训练图神经网络（GNN），使之生成可在向量空间中执行高效相似性推理的图嵌入。其次，研究者提出了新型图匹配网络模型（GMN），该模型以一对图作为输入，通过基于跨图注意力的新型匹配机制进行联合推理，从而计算它们之间的相似性分数。 研究者证明 GMN 模型在不同领域中的有效性，包括极具挑战性的基于控制流图的函数相似性搜索问题，这个问题在检索软件系统的漏洞中起着非常重要的作用。实验分析表明 GMN 模型不止能在相似性学习的环境下利用结构，还能超越针对这些问题手动精心设计的特定领域基线系统。研究主题：图相似性学习问题 图是编码关系结构的自然表征，常常出现在多个领域中。根据图结构数据定义的计算可以用在各种领域中，从计算生物学和化学的分子分析到自然语言理解中知识图或图结构解析的分析都可以。 近几年来，图神经网络（Graph Neural Network，GNN）已经成为可以有效学习结构数据表征、解决各种基于图的监督预测问题的模型了。这样的模型在迭代聚合局部结构信息的传播过程中设计并计算图节点表征，从而对图元素的排列（permutation）具有不变性。然后直接将这些节点表征用于节点分类，或者将它们合并到用于图分类的图向量中。而 GNN 在监督分类或回归以外的问题的相关研究相对较少。 DeepMind 的这篇论文研究的是图结构对象的相似性学习问题，这个问题在现实生活中有很多重要的应用，尤其是在图数据库中基于相似性的搜索。还有一个应用是涉及计算机安全的二元函数相似性搜索，给定的二元函数可能包含有已知漏洞的代码，我们要检查这个二元函数中是否有和已知易受攻击的函数相似的控制流图（control-flow-graph）。这有助于识别闭源软件中易受攻击的静态连结函式库，这是一个很常见的问题 (CVE, 2010; 2018)，现在还没有很好的解决方法。图 1 展示了一个例子，在这个例子中用汇编语言注释的控制流图来表示二元函数。这种相似性学习问题极具挑战性，因为就算是图之间细微的差别也会造成语义上极大的不同，但结构不同的图语义上可能非常相似。因此，对这个问题而言，一个成功的模型应该（1）利用图结构；（2）能从图的结构和学习到的语义中推导出图的相似性。图 1：二元函数相似性学习问题。检查两个图是否相似需要推理图的结构和语义。左边两个控制流图对应使用不同编译器编译的相同函数（因此二者比较相似），但右侧图对应的是不同函数。 解决方案 为了解决图相似性学习问题，该论文研究了 GNN 在这种情况中的使用，探讨了如何用 GNN 将图嵌入到向量空间，并学习这种嵌入模型，从而使向量空间中相似的图靠近、不相似的图分开。这个模型的一个重要特性是它可以将每一个图独立地映射到一个嵌入向量，然后在向量空间中执行相似性计算。因此，可以预先计算并索引大型数据库中的图嵌入，这样就能用快速的最近邻搜索数据结构（如 k-d 树） 或局部敏感哈希算法 (Gionis et al., 1999) 执行高效的检索。 研究者进一步扩展 GNN，提出新型图匹配网络（Graph Matching Networks，GMN）来执行相似性学习。GMN 没有单独计算每个图的图表征，它通过跨图注意力机制计算相似性分数，来关联图之间的节点并识别差异。该模型依赖成对图计算图表征，因此它比嵌入模型更强大，并在准确率和计算之间做出了很好的权衡。 研究者在三个任务上评估了 GMN 和基线模型：仅捕获结构相似性的合成图编辑距离学习任务（synthetic graph edit-distance learning tas），以及两个现实世界任务——二元函数相似性搜索和网格检索，这两项任务都需要推理结构相似性和语义相似性。在所有任务中，GMN 都比基线和结构不可知（structure agnostic）模型的性能更好。在更详细的模型简化测试中，研究者发现 GMN 始终优于图嵌入模型和 Siamese 网络。 该研究的贡献如下： 展示了如何用 GNN 产生用于相似性学习的图嵌入； 提出了新型图匹配网络（GMN），该网络基于跨图注意力匹配来计算相似性； 实验证明，该研究提出的图相似性学习模型 GMN 在多个应用中都有良好的表现，比结构不可知模型和现有的手动建立的基线模型都要好。 深度图相似性学习 给定两个图 G1 = (V1, E1) 和 G2 = (V2, E2)，我们需要一个可以计算两图之间相似性分数 s(G1, G2) 的模型。每个图 G = (V, E) 被表示为节点 V 和边 E 的集合，每个节点 i∈V 都可以和特征向量 x_i 相关联，每条边 (i, j) ∈ E 都可以和特征向量 x_ij 关联起来。这些特征可以表示节点类型、边的方向等。如果一个节点或者一条边不能关联任何特征，那么我们可以将对应向量设置成值为 1 的常量。研究者提出了两个图相似性学习模型：一个是基于标准 GNN 的学习图嵌入的模型；另一个是更为崭新也更加强大的 GMN。图 2 展示了这两个模型：图嵌入模型 图嵌入模型可以将每一个图都嵌入到向量中，然后用向量空间中的相似性矩阵衡量图之间的相似性。GNN 嵌入模型包括三个部分：编码器、传播层和聚合器。 图匹配网络 图匹配网络以一对图作为输入，计算它们之间的相似性分数。和嵌入模型相比，图匹配模型联合成对图计算相似性分数，而不是先将每个图独立地映射到向量上。因此，图匹配模型可能比嵌入模型更加强大，但它需要额外的计算效率。 图匹配网络改变了每个传播层中的节点更新模块，这样不仅可以考虑到每个图的边上的聚合信息，还可以考虑到衡量一个图中的一个节点和其他图中的一或多个节点匹配近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 程度的跨图匹配向量：以调整图的表征，在它们不匹配时放大它们之间的差异。 实验 研究者在三个任务上评估了图相似性学习（Graph Similarity Learning，GSL）框架、图嵌入模型（GNN）以及图匹配网络（GMN）的性能，并将这些模型与其他方法进行了对比。总体上，实验结果表明在图相似性学习任务上，GMN 表现优异，而且始终优于其他方法。 学习图编辑距离（GED) 图 G1 和 G2 之间的图编辑距离即将 G1 变换为 G2 所需的最小编辑操作。通常这些编辑操作包括添加／移除／替换节点和边。图编辑距离是衡量图之间相似性的自然指标，在图相似性搜索中有很多应用。 从下表 1 中可以看出，通过学习特定分布的图，GSL 模型的性能优于一般的基线模型，而 GMN 的性能持续优于图嵌入模型（GNN）。基于控制流图的二元函数相似性搜索 二元函数相似性搜索是计算机安全领域中的重要问题。当我们无法获取源代码时，可以通过二元函数执行分析和搜索，例如在处理商业或嵌入式软件或可疑的可执行程序时。 下图 4 展示了具备不同传播步和不同数据设置的不同模型在二元函数相似性搜索任务上的性能。从图中，我们可以看到： 图嵌入模型和图匹配模型的性能随着传播步的增加而持续提升； 在传播步足够的情况下，图嵌入模型持续优于基线模型； 图匹配模型在所有设置和传播步的情况下都优于图嵌入模型。研究者检测了GMN 模型中不同组件的效果，并将 GMN 模型与图卷积网络（GCN）、图神经网络（GNN）和 GNN/GCN 嵌入模型的 Siamese 版本进行对比。 下表 2 展示了实验结果，表明： GNN 嵌入模型是具备竞争力的模型（比 GCN 模型强大）； 使用 Siamese 网络架构基于图表征学习相似性要比使用预先指定的相似性指标（Euclidean、Hamming 等）好； GMN 优于Siamese 模型，这表明在计算过程早期进行跨图信息交流是非常重要的。
图匹配（Graph Matching）入门学习笔记——以《Factorized Graph Matching》为例（一）
热门推荐
深视
09-24 1万+
这篇文章本身是图匹配经典论文《Factorized Graph Matching》的阅读笔记，后来发现该文介绍并串联了许多图匹配相关的知识，甚至可以看作一个小小的综述性文章，因此就作为图匹配的学习笔记了。因为笔者本人才疏学浅，对于图匹配也是刚刚开始接触，所以文章内容难免存在纰漏和错误，也欢迎各位朋友批评指正。
Graph Matching随想
ab459548764的博客
02-06 585
图网络和图配对Graph Neural NetworkGraph Matching Graph Neural Network 首先简要复习图网络GNN部分。 对比一下图网络和一般网络异同。 X→WX \bm{X} \rightarrow \bm{WX} X→WX 这是一般的神经网络。而对于图网络来说 (A,X)→W(A,X) (\bm{A},\bm{X}) \rightarrow \bm{W}(\bm{A},\bm{X}) (A,X)→W(A,X) 相比于一般网络而言，其输入部分可以认为是多了一部分图的信
C. Dynamic Graph Matching
海边拾贝，沧海一粟
07-31 600
C. Dynamic Graph Matching 题意 C. Dynamic Graph Matching 题意 给定一个 n 个点的无向图，m 次加边或者删边操作。 在每次操作后统计有多少个匹配包含 k = 1, 2, …,n/2 条边。 匹配的定义： 边的集合，没有共同的顶点 先把匹配的概念转换，n个边的匹配，就是n条边没有共同的顶点，那就是2...
Tensor Power Iteration for Multi-Graph Matching
02-10
Tensor Power Iteration for Multi-Graph Matching
Dynamic Programming Bipartite Belief Propagation For Hyper Graph Matching
02-10
Dynamic Programming Bipartite Belief Propagation For Hyper Graph Matching
matlab做无向图代码-exact_graph_match:基于GPU的蛮力精确小图匹配和距离计算
05-27
matlab做无向图代码精确匹配 该存储库用于基于GPU的蛮力精确小图形匹配和距离计算。 它基本上解决了问题$ \ min_P | AP-PB | $，其中$ P $在所有置换矩阵的集合上优化，$ A $和$ B $是两个等长图的邻接矩阵，并且$ | \ cdot | $是一些矩阵范数。 有两种功能，一种是C CUDA代码，另一种是Matlab包装器，可简化代码的运行。 可以使用正确的标志选择在正常的CPU上运行C CUDA代码，但这会很慢。 即使您没有NVIDIA GPU卡，也需要安装NVIDIA工具包并使用nvcc编译程序。 Matlab包装器接受两个无向图作为输入，即已编译的.cu文件的路径和一个标志0或1，具体取决于我们是否要使用GPU。 CUDA代码接受两个图形文件作为输入，一个标志指示要使用的规范，一个标志指示我们是否要使用CPU或GPU。 在CUDA代码中，GPU设备默认情况下设置为0。您可以在代码中更改此值。 默认情况下，每个块的线程数和块数设置为1024。 您可以在代码中更改这些值。 请使用以下代码引用此代码 Bento，J.和Ioannidis，S.，2018年5月
图匹配：Graph Matching Networks for Learning the Similarity of Graph Structured Objects
qq_44074153的博客
06-25 1555
1.文献信息链接: 来源：ICML2019年（国际机器学习大会） 论文链接： https://arxiv.org/abs/1904.12787v1 代码链接： https://paperswithcode.com/paper/graph-matching-networks-for-learning-the-1#code 2.Main idea: 主要介绍了2个计算图相似性的网络:Graph Embedding Models 和Graph Matching Networks Graph Embedding M
图匹配（Graph Matching）入门学习笔记——以《Factorized Graph Matching》为例（三）
最新发布
深视
09-28 2858
本文主要介绍了与图匹配问题非常相似的点配准（Point Registration）问题，分析了二者之间的区别和联系。原文作者没有提点配准问题，而是用了ICP(Iterative Closest Point)的说法，但我个人认为ICP只是求解三维点配准的一种方法，使用点配准这个概念应该更加准确。最后介绍了如何将几何约束引入FGM中来求解可变形图（Deformable Graph）的匹配问题。
Graph Matching(一)
weixin_34294649的博客
09-24 1022
Paper（2004）：Thirty years of graph matching in pattern recognition 1.The category of graph matching 1.1 Exact matching algorithms Exact matching algorithm:should be edge-preserving,which means if ...
讲座笔记：图匹配 Graph Matching 问题 | 机器学习&组合优化
记录学习痕迹的公众号：Piper蛋窝
03-13 4256
机器学习与组合优化问题实例，研究对象是 Graph Matching 。
Bipartite Graph Match
weixin_30423977的博客
04-07 239
1 /**************************************************************************************************** 2 Target: Bipartite Graph Match (According to the problem named "star") O(n*n) ...
Factorized Graph Matching
十年磨一剑
08-26 2303
{ 推导：7式 (3) vec(X)TKvec(X)vec(X)^TKvec(X) (6) K=diag(vec(Kp))+(G2⊗G1)diag(vec(Kq))(H2⊗H1)TK = diag(vec(K_p))+(G_2\otimes G_1)diag(vec(K_q))(H_2\otimes H_1)^T 将(6)式代入(3)式得到: \begin{align} &vec(X)^
Problem C. Dynamic Graph Matching
kuangle的博客
07-31 320
Problem C. Dynamic Graph Matching 题目链接:Problem C. Dynamic Graph Matching 转载自：[雪的期许] 冒昧转载记录学习一下。 题目大意是找图中边的匹配，按要求找。没想到状态压缩的dp可以解。 但是这题真的很适合状态压缩表示全部的状态。顶点的数量最多10位。每个顶点在匹配集中只有两种状态，存在和不存在。一切的一切...
2018 HDU多校---Problem C. Dynamic Graph Matching（状压dp）
AAAAAAAC的博客
07-31 310
昨天的那个dp题。。。时间卡的很紧，一定要dp，并且是最优的，多10000层循环都不可以。。代码还是放标称吧，这个标称能看懂，，而且目前也就这一种解法。。大佬昨天直播讲题的时候也说这个题，算的话爆搜能过，但是不知道为何T，dp能过也是玄学。。 题意：n个点，m次操作，每次操作加一条边或者减一条边，每次操作后输出1，2，，，n/2的匹配 k的匹配定义：选择图中k条不包含公共点的边构成的匹配 思...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值