多目标跟踪数据关联的二部图解：CVPR18多目标跟踪开创性深度端到端二部图匹配佳作《Deep Learning of Graph Matching》读后有感

最新推荐文章于 2024-05-17 19:54:07 发布
最新推荐文章于 2024-05-17 19:54:07 发布
阅读量6.3k 收藏 12
点赞数 1
分类专栏： 多目标跟踪 二部图匹配 文章标签： 计算机视觉 深度学习 二部图匹配 多目标跟踪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trasper1/article/details/81475816
版权
本文介绍了CVPR18年一篇关于深度学习端到端二部图匹配的文章，该工作旨在解决多目标跟踪中的数据关联问题。通过矩阵分解和反向传播，学习从特征提取到损失函数的整个流程，实现几何或语义对应。算法通过CNN提取特征，构建亲和力矩阵，并利用幂迭代找到最大特征向量，以进行匹配。这种方法在多目标跟踪领域具有潜在的应用价值。
摘要由CSDN通过智能技术生成

多目标跟踪算法的核心以及瓶颈之处，即是在得到两个set的DR（detection response，其中一个前序set可能是tracklets，但也由DR来表征）之后如何实现二部图匹配。传统的Hungarian算法和Kuhn-Munkras算法可以在最理想情况下以O（n^2）时间复杂度求解。但是在深度学习的时代，如何由DL得方式解决多目标跟踪中的data association问题，也即一个类二部图匹配问题，是有待开发的。

第一次尝试E2E用DL的途径把Data association按照一个二部图匹配问题来解的代表作可以看做A。Mlian在AAAI2017上发表的《Online Multi-target Tracking Using RNN》，其中一个LSTM被用于在Affinity Matrix的基础上生成association matrix，完成匹配。同样是在AAAI2017上，Milan还配套地发布了《Data-driven Approximations to NP hard Problems》，这一篇可以看做上一篇中关联技术的泛化和推广。

然而，Mialn的这两次尝试都可以算是不成不就，其中第一个工作是在Torch上implement的，code很messy，联系过Milan大神本人，他也明确声称算法的performance还不好，只是一次tentative的尝试。

在此之后，再鲜有用如此的工作。可能确实因为多目标跟踪问题本身spatial-temporal错综复杂的属性，再加之训练样本的匮乏（尤其是online methods），再加之implementation需要的effort比较大，导致大家不愿意在如此高产的年代死磕如此低产出的topics。。。直到刷到今年CVPR的这一神作！

本文是两位数学系作者出品，highly mathmatical，对matrix factorization和matrix back-propagation的完整推导令人叹为观止。

下接正题：

Graph matching, 狭义可以理解为二部图匹配，是在连个set之间计算一个点于点的affinity matrix，再依据于此A-matrix，得到一个1-on-1的匹配结果（permutation matrix or indicator vector）。二部图匹配在众多基于matching的领域有重要的研究价值。传统方法是利用Hungarian Algorithm or Khun-Munkres算法求解。研究这篇文章的目的在于继续推进与Shah合作的基于Deep的二部图匹配多目标数据关联文章，用本文的思想代替原先的LSTM模块。这篇文章来自CVPR2018，是据我所知第一篇有严谨推导的E2E deep graph matching。这篇文章的E2E，是由feature extractor开始，指导最后的

最低0.47元/天 解锁文章
Trasper1
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Graph Matching Networks for Learning the Similarity of Graph Structured Objects
05-07
近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 DeepMind 和谷歌的这项新研究聚焦检索和匹配图结构对象这一极具挑战性的问题，做出了两个重要贡献。 首先，研究者展示了如何训练图神经网络（GNN），使之生成可在向量空间中执行高效相似性推理的图嵌入。其次，研究者提出了新型图匹配网络模型（GMN），该模型以一对图作为输入，通过基于跨图注意力的新型匹配机制进行联合推理，从而计算它们之间的相似性分数。 研究者证明 GMN 模型在不同领域中的有效性，包括极具挑战性的基于控制流图的函数相似性搜索问题，这个问题在检索软件系统的漏洞中起着非常重要的作用。实验分析表明 GMN 模型不止能在相似性学习的环境下利用结构，还能超越针对这些问题手动精心设计的特定领域基线系统。研究主题：图相似性学习问题 图是编码关系结构的自然表征，常常出现在多个领域中。根据图结构数据定义的计算可以用在各种领域中，从计算生物学和化学的分子分析到自然语言理解中知识图或图结构解析的分析都可以。 近几年来，图神经网络（Graph Neural Network，GNN）已经成为可以有效学习结构数据表征、解决各种基于图的监督预测问题的模型了。这样的模型在迭代聚合局部结构信息的传播过程中设计并计算图节点表征，从而对图元素的排列（permutation）具有不变性。然后直接将这些节点表征用于节点分类，或者将它们合并到用于图分类的图向量中。而 GNN 在监督分类或回归以外的问题的相关研究相对较少。 DeepMind 的这篇论文研究的是图结构对象的相似性学习问题，这个问题在现实生活中有很多重要的应用，尤其是在图数据库中基于相似性的搜索。还有一个应用是涉及计算机安全的二元函数相似性搜索，给定的二元函数可能包含有已知漏洞的代码，我们要检查这个二元函数中是否有和已知易受攻击的函数相似的控制流图（control-flow-graph）。这有助于识别闭源软件中易受攻击的静态连结函式库，这是一个很常见的问题 (CVE, 2010; 2018)，现在还没有很好的解决方法。图 1 展示了一个例子，在这个例子中用汇编语言注释的控制流图来表示二元函数。这种相似性学习问题极具挑战性，因为就算是图之间细微的差别也会造成语义上极大的不同，但结构不同的图语义上可能非常相似。因此，对这个问题而言，一个成功的模型应该（1）利用图结构；（2）能从图的结构和学习到的语义中推导出图的相似性。图 1：二元函数相似性学习问题。检查两个图是否相似需要推理图的结构和语义。左边两个控制流图对应使用不同编译器编译的相同函数（因此二者比较相似），但右侧图对应的是不同函数。 解决方案 为了解决图相似性学习问题，该论文研究了 GNN 在这种情况中的使用，探讨了如何用 GNN 将图嵌入到向量空间，并学习这种嵌入模型，从而使向量空间中相似的图靠近、不相似的图分开。这个模型的一个重要特性是它可以将每一个图独立地映射到一个嵌入向量，然后在向量空间中执行相似性计算。因此，可以预先计算并索引大型数据库中的图嵌入，这样就能用快速的最近邻搜索数据结构（如 k-d 树） 或局部敏感哈希算法 (Gionis et al., 1999) 执行高效的检索。 研究者进一步扩展 GNN，提出新型图匹配网络（Graph Matching Networks，GMN）来执行相似性学习。GMN 没有单独计算每个图的图表征，它通过跨图注意力机制计算相似性分数，来关联图之间的节点并识别差异。该模型依赖成对图计算图表征，因此它比嵌入模型更强大，并在准确率和计算之间做出了很好的权衡。 研究者在三个任务上评估了 GMN 和基线模型：仅捕获结构相似性的合成图编辑距离学习任务（synthetic graph edit-distance learning tas），以及两个现实世界任务——二元函数相似性搜索和网格检索，这两项任务都需要推理结构相似性和语义相似性。在所有任务中，GMN 都比基线和结构不可知（structure agnostic）模型的性能更好。在更详细的模型简化测试中，研究者发现 GMN 始终优于图嵌入模型和 Siamese 网络。 该研究的贡献如下： 展示了如何用 GNN 产生用于相似性学习的图嵌入； 提出了新型图匹配网络（GMN），该网络基于跨图注意力匹配来计算相似性； 实验证明，该研究提出的图相似性学习模型 GMN 在多个应用中都有良好的表现，比结构不可知模型和现有的手动建立的基线模型都要好。 深度图相似性学习 给定两个图 G1 = (V1, E1) 和 G2 = (V2, E2)，我们需要一个可以计算两图之间相似性分数 s(G1, G2) 的模型。每个图 G = (V, E) 被表示为节点 V 和边 E 的集合，每个节点 i∈V 都可以和特征向量 x_i 相关联，每条边 (i, j) ∈ E 都可以和特征向量 x_ij 关联起来。这些特征可以表示节点类型、边的方向等。如果一个节点或者一条边不能关联任何特征，那么我们可以将对应向量设置成值为 1 的常量。研究者提出了两个图相似性学习模型：一个是基于标准 GNN 的学习图嵌入的模型；另一个是更为崭新也更加强大的 GMN。图 2 展示了这两个模型：图嵌入模型 图嵌入模型可以将每一个图都嵌入到向量中，然后用向量空间中的相似性矩阵衡量图之间的相似性。GNN 嵌入模型包括三个部分：编码器、传播层和聚合器。 图匹配网络 图匹配网络以一对图作为输入，计算它们之间的相似性分数。和嵌入模型相比，图匹配模型联合成对图计算相似性分数，而不是先将每个图独立地映射到向量上。因此，图匹配模型可能比嵌入模型更加强大，但它需要额外的计算效率。 图匹配网络改变了每个传播层中的节点更新模块，这样不仅可以考虑到每个图的边上的聚合信息，还可以考虑到衡量一个图中的一个节点和其他图中的一或多个节点匹配近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 程度的跨图匹配向量：以调整图的表征，在它们不匹配时放大它们之间的差异。 实验 研究者在三个任务上评估了图相似性学习（Graph Similarity Learning，GSL）框架、图嵌入模型（GNN）以及图匹配网络（GMN）的性能，并将这些模型与其他方法进行了对比。总体上，实验结果表明在图相似性学习任务上，GMN 表现优异，而且始终优于其他方法。 学习图编辑距离（GED) 图 G1 和 G2 之间的图编辑距离即将 G1 变换为 G2 所需的最小编辑操作。通常这些编辑操作包括添加／移除／替换节点和边。图编辑距离是衡量图之间相似性的自然指标，在图相似性搜索中有很多应用。 从下表 1 中可以看出，通过学习特定分布的图，GSL 模型的性能优于一般的基线模型，而 GMN 的性能持续优于图嵌入模型（GNN）。基于控制流图的二元函数相似性搜索 二元函数相似性搜索是计算机安全领域中的重要问题。当我们无法获取源代码时，可以通过二元函数执行分析和搜索，例如在处理商业或嵌入式软件或可疑的可执行程序时。 下图 4 展示了具备不同传播步和不同数据设置的不同模型在二元函数相似性搜索任务上的性能。从图中，我们可以看到： 图嵌入模型和图匹配模型的性能随着传播步的增加而持续提升； 在传播步足够的情况下，图嵌入模型持续优于基线模型； 图匹配模型在所有设置和传播步的情况下都优于图嵌入模型。研究者检测了GMN 模型中不同组件的效果，并将 GMN 模型与图卷积网络（GCN）、图神经网络（GNN）和 GNN/GCN 嵌入模型的 Siamese 版本进行对比。 下表 2 展示了实验结果，表明： GNN 嵌入模型是具备竞争力的模型（比 GCN 模型强大）； 使用 Siamese 网络架构基于图表征学习相似性要比使用预先指定的相似性指标（Euclidean、Hamming 等）好； GMN 优于Siamese 模型，这表明在计算过程早期进行跨图信息交流是非常重要的。
MINet:CVPR2020，用于显着目标检测的多尺度交互式网络
03-08
用于显着目标检测的多尺度交互式网络 CVPR 2020。 无：有关本文的后续更新，请参见arixv版本。 变更日志 代码和实验结果现已发布 :grinning_face_with_smiling_eyes: 。 2021/1/18： 修复SIM卡模块的形式： : ...
基于深度学习的视觉多目标跟踪(MOT)方法
最新发布
NEON7788的博客
05-17 1051
多目标跟踪(MOT)旨在从给定视频序列中输出所有目标的运动轨迹并维持各目标的身份。近年来，由于其在学术研究和实际应用中具有巨大潜力，因此受到越来越多的关注并成为计算机视觉的热点研究方向。当前主流的跟踪方法将MOT任务拆分为目标检测、特征提取以及数据关联３个子任务，这种思路已经得到了良好的发展。然而，由于实际跟踪过程中存在遮挡和相似物体干扰等挑战，保持鲁棒跟踪仍是当前的研究难点。为了满足在复杂场景下对多个目标准确、鲁棒、实时跟踪的要求，需要对MOT算法作进一步研究与改进。目前已有关于MOT算法的综述，但仍存在
CVPR2018已公布关于视频目标跟踪的论文简要分析与总结
热门推荐
yl小白菜
07-23 1万+
CVPR2018已公布关于视频目标跟踪的论文简要分析与总结   一，A Twofold Siamese Network for Real-Time Object Tracking 论文名称 A Twofold Siamese Network for Real-Time Object Tracking 简介 此算法在Sia...
基于深度学习的Graph Matching中损失函数的理解
AIWCZ的博客
10-26 660
挖坑
【论文】Learning for Graph Matching and Related Combinatorial Optimization Problems
梓莘
10-23 253
摘要 文章主要是针对图匹配问题的组合优化方面的机器学习方面发展的回顾。 机器学习和组合优化的结合可能会给人工智能带来革命性的变化。 本文研究的重点是加权图匹配问题。 关于图匹配，体现了很多的学习技术：卷积神经网络，图神经网络，强化学习这些技术可以应用到提取节点特征，图结构特征，甚至匹配引擎的范例中。 展望： 介绍 组合优化是一个非常重要的研究方向，它涵盖了约束满足问题、整数规划、图论算法等丰富的经典算法求解方法。与此同时，机器学习也在进几年突飞猛进。从基础研究到应用这两个研究都有很深的影响，但是直到最近才出
选择性搜索和多深度学习模型融合的目标跟踪.pdf
08-19
本文提出了一种基于深度学习的多模型融合目标跟踪算法，结合选择性搜索和粒子滤波的方法，以提高目标跟踪的稳定性和鲁棒性。算法使用了卷积神经网络（CNN）和卷积深度信念网络（CDBN）作为特征提取的多线索模型，...
FragTrack-master_2007_cvpr_目标跟踪_抗遮挡_跟踪遮挡_
09-30
《FragTrack：2007年CVPR中的目标跟踪与抗遮挡技术解析》 在计算机视觉领域，目标跟踪是研究的核心问题之一，而如何应对遮挡带来的...这一工作不仅在当时具有开创性，而且至今仍对目标跟踪领域的研究产生深远影响。
ECO-master.zip_17年CVPR_eco 多尺度跟踪_eco算法_eco跟踪_mtimesx build
07-14
CVPR17年最新最优秀跟踪算法。ECO性能完美，是当前效果最好的算法。
Graph Matching Networks for Learning the Similarity of Graph Structured Objects 研读
bobbykey的博客
11-28 442
参考资料： 1） https://colab.research.google.com/github/deepmind/deepmind_research/blob/master/graph_matching_networks/graph_matching_networks.ipynb#scrollTo=F50gn0G_yZ3s 2）原论文：https://arxiv.org/abs/1904.12787 3）参考博文：Graph Matching Networks for Learning the
论文阅读笔记《Deep Learning of Graph Matching》
深视
11-09 688
图匹配经典论文《Deep Learning of Graph Matching》阅读笔记
目标检测中使用二部图匹配算法
CHIERYU的专栏
05-15 1244
在SSD的原文中有一段话： Matching strategy During training we need to determine which default boxes correspondto a ground truth detection and train the network accordingly. For each groundtruth box we are sel...
一个基于高阶图匹配的多目标跟踪器：Online Multi-Target Tracking with Tensor-Based High-Order Graph Matching
12-08 910
本文提出了一种多目标跟踪器，它将分配任务描述为一个具有有效解的高阶图匹配问题。该公式可以方便地嵌入运动一致性和空间结构不变性等高阶信息。另外，加入孪生网络，提取基于id mask的特征来表示外貌相似度，并且实验证明使用mask比全局的效果要好。算法的公式实现简洁并且实时运行。
二部图总结
小小小小杜
09-08 1722
今天总结一下二部图，那么首先谈一下二部图的用处，首先谈一下二部图的最大匹配一下是代码模型#include #include #include #define Max 100 bool match[Max][Max]; int pre[Max]; bool vi[Max]; int find(int x); int n,m,k; int main() { while(
粗读CVPR论文《Graph Convolutional Tracking》
qq_31622541的博客
01-18 1236
声明：该文章纯属个人对文章的粗略理解，不代表作者观点，具体细节需请各位下方链接读原论文，如果有不同意的地方，还希望大家指出。 论文简单理解 这篇文章主要讲的是如何通过图卷积来实现目标跟踪。首先他显示指出了用SiamNet做目标跟踪的通病，就是不考虑时空连贯信息，一旦目标一定时间从视线中消失，或者说是出现明显的光照条件变化，那基本上跟踪器也就失效了。所以作者就通过图结构把 前T 帧的视频时空信息都...
MOTDT多目标跟踪论文学习笔记
x_yan033的博客
07-11 1834
MOTDT是2018年提出的一种非常简单有效且实时的多目标跟踪方法，代码已开源，其整体架构及其中部分模块都可以在工程中部署，效果不错。 原文：Real-Time Multiple People Tracking With Deeply Learned Candidate Selection And Person Re-Identification 源码：https://github.com/longcw/MOTDT 多目标跟踪领域一个亟待解决的问题是：如何将不可靠的检测结果与已经跟踪的目标轨迹进.
RADIANT：一种全新的雷达图像关联网络用于3D目标检测
AI训练师中的点滴
01-10 955
RADIANT
CPVR2022论文解析PPT：DeepFusion 多模态融合3D目标检测模型论文解析
05-02
本文主要解析了在2022年的CVPR会议上的一篇名为"DeepFusion: Lidar-Camera Fusion for Multi-Modal 3D Object Detection"的论文，该研究着重于解决雷达和图像数据在3D目标检测中的多模态融合问题。雷达与图像作为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值