多目标跟踪(MOT)
jingqiulyue
迭代升级中
展开
-
多目标跟踪的简单理解
Multi-Object Tracking多目标跟踪的问题是这样的:有一段视频,视频是由 N 个 连续帧构成的。从第一帧到最后一帧,里面有多个目标,不断地有出有进,不断地运动。我们的目的是对每个目标,能跟其他目标区分开,能跟踪它在不同帧中的轨迹。1 Input: detection responses。现在拿来一段视频,我们先用 state-of-art detectors 把各帧中的人检转载 2017-11-23 19:54:30 · 5299 阅读 · 0 评论 -
Groupwise Tracking of Crowded Similar-Appearance Targets from Low-Continuity Image Sequences
来源:CVPR2016本文适用于极度拥挤的情况,属于群组跟踪创新点:(显微切片-->人)本文提出了一种新的群组方法来探索目标群体的信息,并且用到了组内相关信息以进行关联和跟踪。尤其是,组内关联通过非刚性的2D ThinPlate变换来进行建模。一系列的组收缩(group shrinking),组成长(group growing)和组合并(group merging)的操作用原创 2017-11-26 20:40:53 · 403 阅读 · 0 评论 -
Multi-Object Tracking with Quadruplet Convolutional Neural Networks
来源:CVPR2017创新点:本文为MOT提出了四元卷积神经网络(Quad-CNN),使用四元损失(quadruplet losses)跨帧关联物体检测。所提出的网络为进行数据关联考虑目标的外观和他们的时间邻接关系。不像传统的ranking losses,这一四元损失强制执行一个附加约束,该约束使得时间临近的检测位置较具有很大时间间隔的位置更近。本文使用一个multi-task l原创 2017-11-27 13:36:46 · 1912 阅读 · 1 评论 -
Multiple People Tracking by Lifted Multicut and Person Re-identification
来源:CVPR2017创新点:通过提升多维数据和行人重识别来进行多人跟踪。在本文中,提出了一种新颖的基于图的公式,用以随着时间的推移通过解决一个最小化成本(cost)提升维度(lifted multicut)的问题的示例来连接并聚集(cluster)行人假设。本文的模型通过介绍一种机制概括了之前的工作。这使得可以在一定程度上奖励那些把具有相似外观的检测分配给同一行人的跟踪结果。为有效地原创 2017-11-27 13:37:12 · 748 阅读 · 0 评论 -
Deep Network Flow for Multi-Object Tracking
来源:CVPR2017创新点:对于数据关联,一种典型的方法是寻找a graph matching或者network flow,旨在最小化成对关联成本(a sum of pairwise association costs)。这一cost要么是手工的(hand-crafted),要么是作为固定特征的线性函数被学得。作者表明通过反向传播,为基于网络流的数据关联学习特征是可能的,方法是把原创 2017-11-27 13:37:31 · 1907 阅读 · 0 评论 -
Non-Markovian Globally Consistent Multi-Object Tracking
来源:ICCV2017创新点:(IDS)大多数多目标跟踪的好方法依赖于每帧的独立检测,把检测结果分组成短但是可依赖的轨迹片段,之后进一步把轨迹片段分组,形成长轨迹。这一分组通常依赖于强加的本地平滑约束而非总是依赖于在轨迹上强加更多的全局平滑约束。本文提出了一种能够通过使用行为模式来增加全局一致性的非马尔科夫方式来指导跟踪算法。当与最先进的跟踪算法联合使用时,表现更为出色。多目标跟踪原创 2017-11-27 13:37:53 · 669 阅读 · 0 评论 -
Tracking The Untrackable: Learning to Track Multiple Cues with Long-Term Dependencies
来源:ICCV2017创新点:对于多目标跟踪的问题,现有的大多数解决方案并没能以一种一致的方式把长期的线索联合起来。本文提出了一种在线的方法,能够编码多条线索的长期的时间依赖。跟踪方法的一个关键挑战就是精准地跟踪被遮挡的物体或者那些与周围物体具有相似外观的物体。为解决这一挑战,提出一种循环神经网络(RNN)的结构,在多条线索上用一个时间窗口联合推理。该方法允许矫正数据关联的错误,并且可原创 2017-11-27 13:38:11 · 1690 阅读 · 2 评论 -
CDTS: Collaborative Detection, Tracking, and Segmentation for Online Multiple Object Segmentation
来源:ICCV2017创新点:(MOS,但是提到了MOT的方法)本文提出了一种新颖的在一个视频序列分割多个物体的在线算法。开发出联合检测、跟踪和分割的技术去精确地提取多个分段轨迹。第一,将检测器和跟踪器联合使用以生成目标(objects)的多个边界框轨迹。第二,通过使用ASE(alternate shrinking and expansion)分割技术将每个边界框转换成为一种像素级原创 2017-11-27 13:38:23 · 1110 阅读 · 0 评论 -
Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention M
来源:ICCV2017创新点:用基于CNN的单目标跟踪器,采用时空注意力机制的方式,进行在线多目标跟踪。在本文中,提出了一个用于在线多目标跟踪的基于CNN的框架。这一框架在适应外观模型和在下一帧搜索目标时能够利用单目标跟踪器的优点。简单地把单目标跟踪运用至多目标跟踪会遇到计算效率和遮挡漂移的问题。本文的框架通过共享特征的方法获得计算效率的提升。并且,通过ROI-pooling获得每个目原创 2017-11-27 13:39:57 · 1274 阅读 · 3 评论 -
Multiple Object Tracking with High Performance Detection and Appearance Feature
来源:ECCV 2016本文的跟踪器是POI(Person of Interest),在基于数据关联(data association)的MOT中detection和学习appearance feature是十分重要的。这篇论文使用了高性能的检测和基于深度学习的外观特征,做了大量的实验,结果很有说服力。基本思路:在每帧上用检测器检测行人的位置,然后利用行人检测框的外观特征进行前后帧行人框的原创 2017-12-24 14:42:46 · 2397 阅读 · 0 评论 -
Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention M
题目:Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanism来源:ICCV 2017因为太喜欢这篇文章了,所以再简单的写一遍。本文用带有时空注意力机制的基于CNN的单目标跟踪器实现在线的多目标跟踪。为了online M原创 2017-12-07 09:57:21 · 3417 阅读 · 1 评论 -
Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric
Baseline:SORT SORT:简单有效 Deep SORT:增加了deep外观。解决的问题是:长期遮挡和降低IDS(45%)。计算的复杂度主要在离线pre-training阶段。该方法具有高帧率的效果(20HZ)。做法: ①离线阶段:在大尺度的行人重识别数据集上学到a deep association metric。 ②在线应用阶段:建立从测量到跟踪(measurement-to-...原创 2018-03-17 17:52:00 · 4014 阅读 · 0 评论 -
Features for Multi-Target Multi-Camera Tracking and Re-Identification
论文来源:CVPR2018 code: http://vision.cs.duke.edu/DukeMTMC/Abstract MTMCT:在从几个摄像头获取的视频中跟踪多个行人。 Re-id:从一系列候选图片中检索与被查询图片相似的行人图片。 本文用cnn,为MTMCT&re-id的任务学习好的特征。 贡献有: 提出了an adaptive weighted trip...原创 2018-04-26 16:07:18 · 1727 阅读 · 1 评论 -
A Prior-Less Method for Multi-Face Tracking in Unconstrained Videos
A Prior-Less Method for Multi-Face Tracking in Unconstrained Videos 来源:CVPR2018Abstract 多脸跟踪把原生视频作为输入,执行检测,产生轨迹,然后再把轨迹进行连接。 本文提出使用一种无先验的方法来跟踪和聚类未知数量的人脸,并且在无约束的视频中保持他们的身份Id。关键的挑战在于精确的跟踪带有部分遮挡的,在...原创 2018-06-21 11:09:36 · 967 阅读 · 1 评论 -
Features for Multi-Target Multi-Camera Tracking and Re-identification
Features for Multi-Target Multi-Camera Tracking and Re-identification 来源:CVPR 2018注:由于时间原因,论文中的一些图片和公式就不上传了,可以对照论文,参考大意来看。Abstract MTMCT:从多个摄像头采集的视频中跟踪多个人。 Re-id:从一系列图片中检索与一张被查询图片相似的图片。 我们...原创 2018-05-31 15:11:53 · 5383 阅读 · 10 评论 -
Fusion of Head and Full-Body Detectors for Multi-Object Tracking
Fusion of Head and Full-Body Detectors for Multi-Object Tracking Abstract 为了在一个场景中跟踪所有人,基于检测的方法是非常有效的。但是只依赖于单检测器是由局限的,因为有用的图像信息可能会被忽略。本文阐述了如何把两个检测器融合到一个跟踪系统中。为了获得轨迹,我们提出把跟踪看作是一个带权图的标签问题,导致了一个二值二次规划。...原创 2018-06-07 21:50:28 · 854 阅读 · 0 评论 -
Detect to Track and Track to Detect
Detect to Track and Track to Detect Abstract 本文提出了一个可以联合执行检测和跟踪的卷积网络结构。 贡献点: ①设计了一个可以同时执行检测和跟踪的卷积网络结构,在进行基于帧的目标检测和跨帧的跟踪回归时,使用了一个多任务的目标函数。 ②引入了可以代表目标跨帧出现的correlation features,以在跟踪的过程中辅助这个卷积网络。 ③基...原创 2018-06-07 21:51:10 · 1206 阅读 · 1 评论 -
The Solution Path Algotithm for Identity-Aware Multi-Object Tracking
来源:CVPR2016创新点:本文提出一种可以感知身份的基于solution path算法的多目标跟踪器。该跟踪器不仅能够产生基于诸如人脸识别线索的与身份相关的轨迹,而且还有能力查明潜在的跟踪错误。这一跟踪器被表述成一个正则约束的二次优化问题,该问题用the solution path算法解决。这一算法成功的解决了同一个优化问题,所不同的是使用了正则约束,逐渐从1减少到0。实验表明原创 2017-11-26 20:39:36 · 437 阅读 · 0 评论 -
Online Multi-Object Tracking via Structural Constraint Event Aggregation
来源:CVPR2016创新点:(解决相机运动的问题、mis-detection、re-track)当ROI有相似外观的时候,MOT就变得比较难了。在那种情况下,对于判别多个物体,运动线索就显得很重要了。为了处理不可预测的相机运动,在目标间的一种结构化运动约束因其对相机运动的鲁棒性而被使用。在本文中,提出了一种新的数据关联方法,该方法可以在出现大的相机运动的时候,有效的利用结构化的运动约原创 2017-11-26 20:38:46 · 640 阅读 · 1 评论 -
Robust, Real-Time 3D Tracking of Multiple Objects with Similar Appearances
创新点:为对具有相似外观的物体进行鲁棒的跟踪,所提出的方法使用3D场景结构的几何信息而不是外观信息。先前技术的一个主要局限是前景混杂。为克服这一局限,本文的方法将前景体素分类到每帧中的目标,用到了一个新颖的,概率化的两阶段框架。这是通过逐步应用轨迹图来完成的。此外,介绍了与3D目标形状相关的带有半参数成分分布的混合模型。为了不混淆人造物和感兴趣的目标,本文基于封闭世界的假设自动地检测和跟踪人造原创 2017-11-26 20:36:17 · 285 阅读 · 0 评论 -
Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor
创新点:①在数据关联方面,设计一种准确的相似度测量(affinity measure)来关联检测结果。介绍一种新颖的汇总本地流描述器(a novel Aggegated Local Flow Descriptor,ALFD),用长期的兴趣点轨迹(IPTs)来编码一对时间距离检测之间相应的运动模式。使用IPTs,ALFD就提供了一种鲁棒的相似性度量来估计匹配检测结果的可能性。②提出一种有原创 2017-11-25 09:07:01 · 1258 阅读 · 1 评论 -
FollowMe: Efficient Online Min-Cost Flow Tracking with Bounded Memory and Computation
来源:ICCV2015创新点:目前,解决数据关联问题的最小代价流(min-cost flow)的方法有3个缺点。第一,计算代价高。第二,假定整个视频作为一个batch给出。第三,内存占用大。相应的解决方法:①当重复使用计算的时候,采用一种连续最短路径算法的动态版本,解决数据关联问题。②当处理一个出现的数据流时,求解数据关联的最优解。③main contribution:原创 2017-11-25 09:12:20 · 613 阅读 · 0 评论 -
Learning to Track: Online Multi-Object Tracking by Decision Making
来源:ICCV2015创新点:把在线MOT的问题看作是Markov决策的过程(MDP),一个目标的生存期用一个MDP来建模。学习一个用于数据关联的相似性函数等价于学习一个MDP的策略。这个MDP策略的学习方式是强化学习,能够充分利用在线学习和离线学习在数据关联方面的优势。此外,所提框架可以利用现存的在线单目标跟踪的方法,将目标的birth/death和appearance/disappeara原创 2017-11-25 09:14:08 · 925 阅读 · 0 评论 -
Multiple Hypothesis Tracking Revisited
来源:ICCV2015创新点:本文提出了一种新颖的MHT方法,该方法包括长期的外观建模,使用来自深度神经网络的特征,证明了经典的MHT能惊人的接近state-of-the-art的方法。为充分利用MHT在开发高阶信息的长处,对于每个跟踪假设,引入一种在线训练外观模型的方法。外观模型可以通过正则化的最小二乘法有效地学习,对于每个假设分支只需要一点额外的操作。MHT是一种经典的算法,该算法原创 2017-11-25 09:15:58 · 2560 阅读 · 0 评论 -
Learning to Divide and Conquer for Online Multi-Target Tracking
来源:ICCV2015创新点:在跟踪中,歧义往往通过遮挡和错误检测而产生。在本文中,提出跟踪中的歧义可以通过有选择性的使用更加可靠的特征而得到解决,如果有必要的话,使用目标更为深层的表示。基于此,对于静态相机的场景,提出一种在线分而治之的tracker,把分配问题分解为本地子问题,并且通过有选择地选择和联合最好的特征而得到解决。在本文中,作者为MOT提出了一种新的方法,该方法可以根据周原创 2017-11-25 09:17:08 · 369 阅读 · 0 评论 -
On Pairwise Costs for Network Flow Multi-Object Tracking
来源:CVPR2015创新点:多目标跟踪可以使用最小成本网络流(min-cost network flow)优化技术来实现。这种方法能够同时解决在一个视频中多个目标的跟踪轨迹,并且能够在多条轨迹间建模依赖关系。在tracking-by-detection的方法中,物体检测器常会因为遮挡等原因导致检测失败。为解决这一问题,提出在min-cost network flow 框架中添加使原创 2017-11-25 09:18:08 · 565 阅读 · 0 评论 -
Joint Tracking and Segmentation of Multiple Targets
来源:CVPR2015创新点:(本文方法在降低IDs数量的同时,提升了10%的召回率)在tracking-by-detection的方法中,一个明显的缺点是在图片序列中所获得的大部分信息通过阈值化的微弱的检测响应和非极大值抑制的使用被简单的忽略了。本文提出了一个多目标跟踪器,可以使用低层次的图像信息,把每个(超)像素关联到一个特定的目标或将该(超)像素分类为背景。因此,除了典型的边界框原创 2017-11-25 09:19:06 · 612 阅读 · 0 评论 -
Subgraph Decomposition for Multi-Target Tracking
来源:CVPR2015创新点:跟踪的常规做法是:首先在空间上选择假设,然后随着时间的推移连接这些假设,在这个过程中需要保证不相交的路径约束。在拥挤场景下,多重假设往往是彼此相似的。基于此,本文提出将时间和空间联合起来,连接合理的检测结果。特别的,将MOT看成是一个最小代价子图多割(a minimum cost subgraph multicut problem)问题。成对的检测假设原创 2017-11-25 09:20:21 · 694 阅读 · 0 评论 -
JOTS: Joint Online Tracking and Segmentation
来源:CVPR2015创新点:提出一种新颖的联合在线跟踪和分割的算法,该算法把多部件跟踪和分割整合到一个统一的能量最优的框架中,目的是处理视频分割的任务。多部件分割可以看成是根据估计的部件模型使用正则化的像素级别的标签分配任务。跟踪可以被表达成基于像素标签,估计部件模型。多部件跟踪和分割被迭代的执行,目的是通过一种ransac-style的方式,最小化提出的函数。贡献:①为实现原创 2017-11-25 09:21:37 · 462 阅读 · 0 评论 -
GMMCP Tracker:Globally Optimal Generalized Maximum Multi Clique Problem for Multiple Object Tracking
来源:CVPR2015创新点:数据关联是众多多目标跟踪方法的主干。在本文中,作者把数据关联问题公式化为一种广义的最大化多团问题(a Generalized Maximum Multi Clique problem,GMMCP),并且通过二值整数规划来解决。之前的工作假设我们的跟踪器要么在问题表述上简化,要么在问题优化上简化。然而,本文所提的GMMCP在这两个方面都没有简化。此外,还提出原创 2017-11-25 09:22:57 · 1137 阅读 · 0 评论 -
Joint Learning of Convolutional Neural Networks and Temporally Constrained Metrics for Tracklet Asso
来源:CVPR2016创新点:为轨迹关联联合学习CNN网络和时间约束的度量标准。不同于已经存在的基于轨迹关联的跟踪方法,本文提出了一种新颖且有效的方法来获得基于判别式外观的轨迹相似度模型(discriminative appearance-based tracklet affinity models)。所提方法联合学习了CNN网络和时间约束度量标准。在本文方法中,一种孪生CNN网络原创 2017-11-26 20:48:46 · 755 阅读 · 0 评论 -
Learning by tracking:Siamese CNN for robust target association
来源:arXiv:1604.07866v3 Aug 2016Abstract本文介绍了一种新的数据关联的方法,引入两阶段(two-stage)学习的模式来匹配检测对。First,训练了一个孪生卷积神经网络来学习编码两个输入图像块的之间的local spatio-temporal structures,把像素值和光流信息给聚合起来。Second,一系列上下文特征derived fro原创 2017-12-05 13:35:48 · 1870 阅读 · 1 评论 -
Target Identity-aware Network Flow for Online Multiple Target Tracking
创新点:本文展示了MOT可以在一个框架中表示,检测和数据关联可同时执行。本文的方法可以克服基于数据关联的MOT方法的限制(跟踪的性能取决于目标检测的结果)。方法的核心是结构化学习,即为每一个目标学习一个模型并且推断所有目标的最佳位置。这一结构化学习的推断通过目标身份感知网络流(Target Identity-aware Network Flow,TINF)来实现。在这个网络中,每个节点编码原创 2017-11-26 20:29:40 · 409 阅读 · 0 评论 -
CDT: Cooperative Detection and Tracking for Tracing Multiple Objects in Video Sequences
来源:ECCV2016创新点:将检测和跟踪联合起来跟踪视频序列中的多个目标,本文将这种方法称为CDT。所提出来的CDT算法有3个成分:物体检测器(object detector),前向跟踪器(forward tracker)和反向跟踪器(backward tracker)。首先,物体检测器检测具有高置信度的目标,这样做的目的是为了减少虚假检测且能够获得较高的精确度。然后,每个检测到原创 2017-11-26 20:33:05 · 457 阅读 · 0 评论 -
Improving Multi-frame Data Association with Sparse Representations for Robust Near-online Multi-ob
创新点:(IDs and false alarms,fragmentations)受单目标跟踪中稀疏表达的成功的启发,提出把多帧数据关联看成是能量最小的问题,设计一种能有效利用所有检测结果的稀疏表达的能量(energy)。此外,提出使用一种结构化的稀疏诱导规范(sparsity-inducing norm)计算更为符合跟踪上下文的表达。本文提出了一种新的MOT方法,把基于稀疏表达的外观模型原创 2017-11-26 20:34:32 · 296 阅读 · 0 评论 -
Virtual Worlds as Proxy for Multi-Object Tracking Analysis
来源:CVPR16创新点:将虚拟世界作为MOT分析的代理,提出一种有效的真实世界的克隆方法,在虚拟数据上进行预训练可以提升性能。真实世界和虚拟世界的差异较小,虚拟世界也可以测量各种天气的影响等。原创 2017-11-26 20:35:36 · 501 阅读 · 0 评论 -
Multi-view People Tracking via Hierarchical Trajectory Composition
来源:CVPR2016创新点:(3D)通过分层轨迹组成的多视角人物跟踪。本文展示了一个多视角目标跟踪的层次化的组合方法。关键的思想在于自适应的使用2D和3D的多条线索,如地面占用一致性,运动相关性,外观相似性等。虽然在过去的文献中已经广泛研究了特征的在线选择,但是当遭遇挑战的时候,如何为了跟踪而有效地安排这些线索尚不清楚。为此,提出了一个层次化的组合模型,并且把多视角的多目标跟踪看成是原创 2017-11-26 20:37:25 · 539 阅读 · 0 评论 -
MDP Tracking 代码配置与运行
https://blog.csdn.net/u012905422/article/details/74896254之前在Ubuntu上运行code没有出现SVM的冲突问题,但是,在我的笔记本上运行,却出现了该问题。现在找到了解决之法,感谢。...转载 2018-10-31 16:49:33 · 633 阅读 · 1 评论