推荐文章：探索图匹配网络的深度学习新境界——Graph Matching Networks

于 2024-05-25 09:53:37 发布
阅读量296 收藏 10
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00088/article/details/139191934
版权

推荐文章：探索图匹配网络的深度学习新境界——Graph Matching Networks

在数据科学和人工智能领域中，图结构数据日益占据重要地位，而有效的图处理方法则是理解和利用这些数据的关键。今天，我们要向您推荐一个专注于图匹配算法的开源项目——Graph Matching Networks。这个项目不仅包含了前沿的研究成果，还提供了易于使用的代码实现，旨在帮助开发者和研究人员深入理解并应用图匹配技术。

1、项目介绍

Graph Matching Networks（GMN）是一个集成了多款图匹配算法的仓库，由林一杰等人维护更新。其中包含了两篇极具影响力的论文的实现：一是即将在ICCV 2023上发表的《Graph Matching with Bi-level Noisy Correspondence》，另一篇是2019年ICML上的《Graph Matching Networks for Learning the Similarity of Graph Structured Objects》。这两个研究都致力于解决如何在复杂的图结构中寻找对应节点的问题，这对于图形识别、社交网络分析等多个领域有着广泛的应用。

2、项目技术分析

该项目的核心是基于神经网络的图匹配模型，能够处理带有噪声的对应关系，并且学习到图结构对象之间的相似度。GMN通过构建深度学习模型来捕捉图的内在结构和特征，进而对两个或多个图进行有效比较。其创新之处在于引入了双层噪声对应的概念，使得模型能更好地适应现实世界的不确定性。

3、项目及技术应用场景

  • 计算机视觉：图像中的物体检测和识别可以通过将图像转化为图模型来提升准确率。
  • 生物信息学：在蛋白质交互网络或基因调控网络中寻找相似模式。
  • 社交网络：挖掘用户之间的隐藏联系，以及群组行为的相似性。
  • 知识图谱：用于实体链接和知识融合，提高知识图谱的质量和完整性。

4、项目特点

  • 全面性：覆盖了多个不同策略的图匹配算法实现，方便比较和选择适用的方法。
  • 可扩展性：代码设计灵活，容易整合新的图匹配算法或者应用于其他领域的图处理任务。
  • 科研价值：提供最新研究成果的实践，有助于学术界和业界跟进相关领域的最新进展。
  • 易用性：清晰的文档结构和注释，使得学习和调试过程更加高效。

总的来说，Graph Matching Networks是一个强大且富有潜力的工具，无论你是希望在学术研究中探索新的算法，还是在实际项目中解决图数据相关的难题，都非常值得尝试。立即加入，让我们一起揭开图匹配的神秘面纱，开启深度学习的新篇章！

宋溪普Gale
关注
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 6万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
【复杂网络建模】——基于Graph Convolutional Networks (GCN)进行链接预测
最新发布
lingxw的博客
12-08 3万+
复杂网络是一种由大量相互连接的元素（节点或顶点）组成的网络结构，这些连接通常是非常复杂和动态的。这些网络可以在各种领域中发现，包括社交网络、生物学系统、信息技术和交通系统等。
图匹配：Graph Matching Networks for Learning the Similarity of Graph Structured Objects
qq_44074153的博客
06-25 1555
1.文献信息链接: 来源：ICML2019年（国际机器学习大会） 论文链接： https://arxiv.org/abs/1904.12787v1 代码链接： https://paperswithcode.com/paper/graph-matching-networks-for-learning-the-1#code 2.Main idea: 主要介绍了2个计算图相似性的网络:Graph Embedding Models 和Graph Matching Networks Graph Embedding M
Graph Matching Networks for Learning the Similarity of Graph Structured Objects
05-07
近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 DeepMind 和谷歌的这项新研究聚焦检索和匹配图结构对象这一极具挑战性的问题，做出了两个重要贡献。 首先，研究者展示了如何训练图神经网络（GNN），使之生成可在向量空间中执行高效相似性推理的图嵌入。其次，研究者提出了新型图匹配网络模型（GMN），该模型以一对图作为输入，通过基于跨图注意力的新型匹配机制进行联合推理，从而计算它们之间的相似性分数。 研究者证明 GMN 模型在不同领域中的有效性，包括极具挑战性的基于控制流图的函数相似性搜索问题，这个问题在检索软件系统的漏洞中起着非常重要的作用。实验分析表明 GMN 模型不止能在相似性学习的环境下利用结构，还能超越针对这些问题手动精心设计的特定领域基线系统。研究主题：图相似性学习问题 图是编码关系结构的自然表征，常常出现在多个领域中。根据图结构数据定义的计算可以用在各种领域中，从计算生物学和化学的分子分析到自然语言理解中知识图或图结构解析的分析都可以。 近几年来，图神经网络（Graph Neural Network，GNN）已经成为可以有效学习结构数据表征、解决各种基于图的监督预测问题的模型了。这样的模型在迭代聚合局部结构信息的传播过程中设计并计算图节点表征，从而对图元素的排列（permutation）具有不变性。然后直接将这些节点表征用于节点分类，或者将它们合并到用于图分类的图向量中。而 GNN 在监督分类或回归以外的问题的相关研究相对较少。 DeepMind 的这篇论文研究的是图结构对象的相似性学习问题，这个问题在现实生活中有很多重要的应用，尤其是在图数据库中基于相似性的搜索。还有一个应用是涉及计算机安全的二元函数相似性搜索，给定的二元函数可能包含有已知漏洞的代码，我们要检查这个二元函数中是否有和已知易受攻击的函数相似的控制流图（control-flow-graph）。这有助于识别闭源软件中易受攻击的静态连结函式库，这是一个很常见的问题 (CVE, 2010; 2018)，现在还没有很好的解决方法。图 1 展示了一个例子，在这个例子中用汇编语言注释的控制流图来表示二元函数。这种相似性学习问题极具挑战性，因为就算是图之间细微的差别也会造成语义上极大的不同，但结构不同的图语义上可能非常相似。因此，对这个问题而言，一个成功的模型应该（1）利用图结构；（2）能从图的结构和学习到的语义中推导出图的相似性。图 1：二元函数相似性学习问题。检查两个图是否相似需要推理图的结构和语义。左边两个控制流图对应使用不同编译器编译的相同函数（因此二者比较相似），但右侧图对应的是不同函数。 解决方案 为了解决图相似性学习问题，该论文研究了 GNN 在这种情况中的使用，探讨了如何用 GNN 将图嵌入到向量空间，并学习这种嵌入模型，从而使向量空间中相似的图靠近、不相似的图分开。这个模型的一个重要特性是它可以将每一个图独立地映射到一个嵌入向量，然后在向量空间中执行相似性计算。因此，可以预先计算并索引大型数据库中的图嵌入，这样就能用快速的最近邻搜索数据结构（如 k-d 树） 或局部敏感哈希算法 (Gionis et al., 1999) 执行高效的检索。 研究者进一步扩展 GNN，提出新型图匹配网络（Graph Matching Networks，GMN）来执行相似性学习。GMN 没有单独计算每个图的图表征，它通过跨图注意力机制计算相似性分数，来关联图之间的节点并识别差异。该模型依赖成对图计算图表征，因此它比嵌入模型更强大，并在准确率和计算之间做出了很好的权衡。 研究者在三个任务上评估了 GMN 和基线模型：仅捕获结构相似性的合成图编辑距离学习任务（synthetic graph edit-distance learning tas），以及两个现实世界任务——二元函数相似性搜索和网格检索，这两项任务都需要推理结构相似性和语义相似性。在所有任务中，GMN 都比基线和结构不可知（structure agnostic）模型的性能更好。在更详细的模型简化测试中，研究者发现 GMN 始终优于图嵌入模型和 Siamese 网络。 该研究的贡献如下： 展示了如何用 GNN 产生用于相似性学习的图嵌入； 提出了新型图匹配网络（GMN），该网络基于跨图注意力匹配来计算相似性； 实验证明，该研究提出的图相似性学习模型 GMN 在多个应用中都有良好的表现，比结构不可知模型和现有的手动建立的基线模型都要好。 深度图相似性学习 给定两个图 G1 = (V1, E1) 和 G2 = (V2, E2)，我们需要一个可以计算两图之间相似性分数 s(G1, G2) 的模型。每个图 G = (V, E) 被表示为节点 V 和边 E 的集合，每个节点 i∈V 都可以和特征向量 x_i 相关联，每条边 (i, j) ∈ E 都可以和特征向量 x_ij 关联起来。这些特征可以表示节点类型、边的方向等。如果一个节点或者一条边不能关联任何特征，那么我们可以将对应向量设置成值为 1 的常量。研究者提出了两个图相似性学习模型：一个是基于标准 GNN 的学习图嵌入的模型；另一个是更为崭新也更加强大的 GMN。图 2 展示了这两个模型：图嵌入模型 图嵌入模型可以将每一个图都嵌入到向量中，然后用向量空间中的相似性矩阵衡量图之间的相似性。GNN 嵌入模型包括三个部分：编码器、传播层和聚合器。 图匹配网络 图匹配网络以一对图作为输入，计算它们之间的相似性分数。和嵌入模型相比，图匹配模型联合成对图计算相似性分数，而不是先将每个图独立地映射到向量上。因此，图匹配模型可能比嵌入模型更加强大，但它需要额外的计算效率。 图匹配网络改变了每个传播层中的节点更新模块，这样不仅可以考虑到每个图的边上的聚合信息，还可以考虑到衡量一个图中的一个节点和其他图中的一或多个节点匹配近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 程度的跨图匹配向量：以调整图的表征，在它们不匹配时放大它们之间的差异。 实验 研究者在三个任务上评估了图相似性学习（Graph Similarity Learning，GSL）框架、图嵌入模型（GNN）以及图匹配网络（GMN）的性能，并将这些模型与其他方法进行了对比。总体上，实验结果表明在图相似性学习任务上，GMN 表现优异，而且始终优于其他方法。 学习图编辑距离（GED) 图 G1 和 G2 之间的图编辑距离即将 G1 变换为 G2 所需的最小编辑操作。通常这些编辑操作包括添加／移除／替换节点和边。图编辑距离是衡量图之间相似性的自然指标，在图相似性搜索中有很多应用。 从下表 1 中可以看出，通过学习特定分布的图，GSL 模型的性能优于一般的基线模型，而 GMN 的性能持续优于图嵌入模型（GNN）。基于控制流图的二元函数相似性搜索 二元函数相似性搜索是计算机安全领域中的重要问题。当我们无法获取源代码时，可以通过二元函数执行分析和搜索，例如在处理商业或嵌入式软件或可疑的可执行程序时。 下图 4 展示了具备不同传播步和不同数据设置的不同模型在二元函数相似性搜索任务上的性能。从图中，我们可以看到： 图嵌入模型和图匹配模型的性能随着传播步的增加而持续提升； 在传播步足够的情况下，图嵌入模型持续优于基线模型； 图匹配模型在所有设置和传播步的情况下都优于图嵌入模型。研究者检测了GMN 模型中不同组件的效果，并将 GMN 模型与图卷积网络（GCN）、图神经网络（GNN）和 GNN/GCN 嵌入模型的 Siamese 版本进行对比。 下表 2 展示了实验结果，表明： GNN 嵌入模型是具备竞争力的模型（比 GCN 模型强大）； 使用 Siamese 网络架构基于图表征学习相似性要比使用预先指定的相似性指标（Euclidean、Hamming 等）好； GMN 优于Siamese 模型，这表明在计算过程早期进行跨图信息交流是非常重要的。
Graph_Matching_Network-Pytorch:图匹配网络的Pytorch实现
03-17
Graph_Matching_Network-Pytorch 图匹配网络的Pytorch实现
Graph Matching Networks（GMNs） 笔记
weixin_40248634的博客
06-18 4717
Graph Matching Networks for Learning the Similarity of Graph Structured Objects笔记摘要贡献深度图相似学习1.图嵌入模型编码器传播层聚合器3.2 图匹配网络（GMN） 摘要 文章处理了检索和匹配图结构对象的挑战性问题。文章两个贡献：1. 证明了解决各种基于结构数据的监督预测问题高效模型graph neural netwo...
论文阅读笔记《Graph Matching Networks for Learning the Similarity of Graph Structured Objects》
深视
09-01 1229
核心思想   本文提出一种图匹配网络用于学习图结构对象之间的相似程度，作者介绍了两种模型：图嵌入模型（Graph Embedding Models）和图匹配模型（Graph Matching Networks），两种模型的算法流程如下图所示   相比于图嵌入模型，图匹配模型增加了两幅用于匹配的图之间的信息交互，其强大之处在于不仅仅是单独的将一个图映射到一个嵌入向量中，而且在每个层级上都对两个图进行比较。下面具体介绍下两个模型的结构。   首先，图匹配问题是给定两个图G1=(V1,E1)G_1=(V_1,E
SuperGlue: Learning Feature Matching with Graph Neural Networks特
07-10
本文提出了一种新的解决方案，即使用图形神经网络（Graph Neural Networks）来学习特征匹配。我们提出的方法称为SuperGlue，能够jointly找到对应关系并拒绝非匹配点。该方法使用图形神经网络来预测成本，然后使用可...
读《Graph Matching Networks for Learning the Similarity of Graph Structured Objects》
weixin_40459958的博客
08-06 468
2019 摘要 通过新的基于交叉图注意力的匹配机制对输入的一对图进行联合推理，计算它们之间的相似度得分 1.引言 现有的GNN通过迭代聚合局部结构信息的传播过程设计和计算图节点表示，对图元素的排列保持不变 （这句话语法分析看着好怪，词性真的没用错吗） Scarselli et al., 2009; Li et al., 2015; Gilmer et al., 2017 然后将这些节点表示直接用于节点分类，或汇集到图向量中进行图分类。 GNN 对监督分类或回归之外的问题的研究相对较少。 主要任务： 证
读Graph-Matching-Networks复现②匹配
weixin_40459958的博客
08-29 479
—————————————— 或者换用图匹配GMN GraphMatchingNet( (_encoder): GraphEncoder( (MLP1): Sequential( (0): Linear(in_features=1, out_features=32, bias=True) ) ) (_aggregator): GraphAggregator( (MLP1): Sequential( (0): Linear(in_features=3
SiameseNetwork(应用篇3)：孪生网络用于图像块匹配
02-24
提出一种适用于图像块匹配的的图像描述子（名字起的很好听，convolutionaldescriptor，卷积描述子）。图匹配是很多计算机视觉应用领域非常基础的问题。从最近深度学习在目标检测和分类任务取得的成功受到了启发。开发了一个模型，将原始的输入图像块映射成一个低为的特征矢量，那么两个低维特征越小，图像块就越相似，（largeotherwise）。作为一个距离测度，作者选用了L2范数，也就是们说的欧拉距离，这个距离测度很快并广泛用于评价大多数hand-crafteddescriptors，例如SIFT。的方法输出了艺术级的基于L2的描述子，这个描述子可以直接取代SIFT。此外采用batchn
Graph Matching Networks for Learning the Similarity of Graph Structured Objects 研读
bobbykey的博客
11-28 459
参考资料： 1） https://colab.research.google.com/github/deepmind/deepmind_research/blob/master/graph_matching_networks/graph_matching_networks.ipynb#scrollTo=F50gn0G_yZ3s 2）原论文：https://arxiv.org/abs/1904.12787 3）参考博文：Graph Matching Networks for Learning the
读Graph-Matching-Networks复现①嵌入
weixin_40459958的博客
08-05 886
运行torch版本的代码打印完参数设置就啥都没有了，想先看看运行效果都不行。。。转头又下了个tensorflow版本的结果因为库包报错的问题又折腾了半天。。。还是先看看内容吧，torch的，tensorflow的根本跑不了。。。 —————————— {'aggregator': {'aggregation_type': 'sum', 'gated': True, 'graph_transform_sizes': [128], 'input_size': [32], 'node_hidd
论文阅读笔记：Graph Matching Networks for Learning the Similarity of Graph Structured Objects
qq_37477357的博客
10-15 2185
论文做的是用于图匹配的神经网络研究，作者做出了两点贡献: 证明GNN可以经过训练，产生嵌入graph-leve的向量可以用于相似性计算。 作者提出了一种新的基于注意力的跨图匹配机制GMN(cross-graph attention-based matching mechanism)，来计算出一对图之间的相似度评分。（核心创新点） 论文证明了该模型在不同领域的有效性，包括具有挑战性的基于控制流图(control-flow-graph)的函数相似性搜索问题、软件系统漏洞检测。实验分析表明，图匹配模型不仅能够
论文阅读笔记《Learning to Match Features with Seeded Graph Matching Network》
深视
08-30 1766
核心思想   本文是基于图神经网络进行图像关键点匹配的最新成果（SGMNet），是在SuperGlue的基础上，引入了“种子模块”（Seeding Module），使用稀疏的连接图取代SuperGlue中的完全连接图。并且设计了带有注意力机制的种子图神经网络，先用注意力池化聚合所有种子匹配点的特征信息；然后使用“种子过滤器”（Seeding Filter）在图内/图间进行匹配点的信息交流，并抑制误匹配点的影响；最后使用注意力反池化将经过充分上下文交互的特征信息映射回每个匹配点上。整个算法的流程如下图所示
【深度学习】图像匹配Siamese网络实验记录
qq_40690815的博客
01-08 1289
图像匹配Siamese网络实验记录Siamese 网络介绍实验记录模型1实验1 Siamese 网络介绍 在吴恩达深度学习课程中提到： 在此有网友的笔记： https://www.cnblogs.com/xiaojianliu/articles/9938388.html https://www.pytorchtutorial.com/pytorch-one-shot-learning/#Cont...
【打卡】图像检索与匹配4 孪生网络
bj_zhb的博客
04-30 1163
nn.BCELoss()期望模型的输出是经过 Sigmoid 函数后的类别概率，因此它会将这些预测概率作为输入，并与目标标签进行比较，计算二元交叉熵损失。推理时候，输入dataset中一张图片，query一张图片，输出一个0-1之间的数，就可以认为是孪生网络判断二者的相似性，通过相似性得分输出最后结果。步骤1：构建三元组数据集，分别为和的组合，此时图片A和A’分别进行不同的数据增强；同时，训练代码还启用了分布式训练，也可以作为一个很好的练习，供读者参考。
讲座笔记：图匹配 Graph Matching 问题 | 机器学习&组合优化
记录学习痕迹的公众号：Piper蛋窝
03-13 4254
机器学习与组合优化问题实例，研究对象是 Graph Matching 。
图匹配（Graph Matching）入门学习笔记——以《Factorized Graph Matching》为例（二）
深视
09-27 3187
本文是“图匹配入门学习笔记——以《Factorized Graph Matching》为例”系列的第二篇文章，主要介绍了FGM算法的实现过程，包括图匹配的因式分解形式，一种统一的图匹配框架和基于路径跟随策略的求解算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宋溪普Gale

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值