xiaoxu的博客

首先第一点先说明了问题。许多现有的多目标跟踪（MOT）方法倾向于单独建模每个目标的特征在视点变化剧烈和遮挡情况下，目标的当前特征与历史特征可能存在显著差异，容易导致目标丢失。意味着每个目标的视觉特征（如外观、运动等）是独立处理的。这种方法忽略了目标之间可能存在的关系或交互信息。例如，每个目标的特征会被看作是一个独立的实体，不会考虑目标之间的相互影响或者在跟踪过程中可能的相关性通过这个问题自然而然的就能引出图结构或者说拓扑结构的应用场景。

短期关联（Short-term association）：指的是在没有被遮挡的情况下，跟踪对象的任务。即对象始终处于视野内，并且跟踪算法通过对象的特征来持续关联它们。指的是对于被遮挡（即不在视野内）并且之后重新出现在场景中的对象进行跟踪。这是一个更具挑战性的问题，因为对象可能在遮挡期间消失，导致跟踪算法失去对象的相关信息，需要重新识别和关联这个对象。摘要中提到的主要要解决的问题是：短期对象关联和长期对象关联。针对这些任务，现有的方法通常是专门设计的，并且分别解决特定问题。

之前自己也是写过关于GeneralTrack的解读，这里也是只关注点跟踪实现的重点部分理论的解读和理解，其他的一些方面进行省略。我们提出了一种用于MOT的“逐点到逐实例的关系”框架，即，GeneralTrack，它可以在不同的场景中进行归纳，同时消除了平衡运动和外观的需要。其使用的代码也参考了ByteTrack使用的是主流的TBD范式来进行的。补充:基于中心点的方式存在的问题严重遮挡的情况下类别判断的问题。之后结合平衡外观和运动特征的通用性分析，先对整体的方法进行了一定的概括。提出了一个MOT的。

NetTrack构建了一个动态感知的关联与细粒度的网络，利用点级的视觉线索。相应地，细粒度采样器和匹配方法已被纳入。细粒度采样方法动态感知关联(历史目标框的点和候选框中点匹配完成后，目标框与候选框的匹配)NetTrack引入细粒度学习来解决关联和定位问题（定位主要是检测器的性能问题那里）关于关联，NetTrack利用对象外观上的物理点，这些物理点不易受对象动态性的影响，并形成细粒度的视觉线索。

在cv中常常用来比较两个图片的相似度。孪生神经网络就是将输入进来的两张图片利用同一个神经网络进行特征提取，然后利用比较网络对这两个特征进行比较，最终输出一个长度为1的一维向量，其值在0-1之间，用于表示输入进来的图片的相似程度。其网络组成和执行的过程可以概括为下面的几个方面。孪生神经网络的主干特征提取网络的功能是进行特征提取，各种神经网络都可以适用，例如使用VGG16。比较网络。

该方法提出的是TAP模型，而且采用的是两阶段的跟踪方法。这两个阶段分别为：a matching stage:匹配阶段a refinement stage:细化阶段在匹配阶段：独立地为每隔一帧上的查询点找到合适的候选点匹配。根据局部相关性更新轨迹和查询特征。生成的模型在 TAP-Vid 基准上显着超越了所有基线方法，解读：先对第一个阶段的匹配阶段来进行细化的解读目标：在视频的每隔一帧（例如第 t+1 帧、第 t+2 帧等）中，为每个查询点找到一个最合适的候选点。

在较长的视频剪辑中跟踪表面上的任意物理点的问题已经受到了一些关注，但到目前为止，还没有用于评估的数据集或基准。在本文中，我们首先将问题形式化，将其命名为跟踪任意点（TAP）我们介绍了一个辅助基准测试，TAP-Vid，包含了真实世界的视频，这些视频具有准确的人体标注的点轨迹，以及合成视频，这些视频具有完美的真实点轨迹。我们基准构建的核心是一种新颖的半自动众包管道，它使用光流估计来补偿更简单的短期运动（如相机抖动），使注释者能够专注于视频中较难的部分。我们在合成数据上验证了我们的流程，并提出了一个。

这里介绍的时空关系可能是从师姐那里得到的启发。大多数现有方法使用单独的神经网络来生成目标边界框内数据关联的鲁棒特征。与仅考虑每个目标和独立形成的轨迹而忽略轨迹和帧内检测之间的上下文信息的现有方法不同，本文提出了一种将多通道特征与可学习图匹配相结合的跟踪算法。使用全局和局部显著特征来基于并行图对帧内目标的外观进行建模，并使用轨迹和检测之间完全无向的图关系来挖掘高阶上下文内关系。老师发我这篇论文的原因也是因为在深入的了解一下并行图的方法。

跨帧数据关联是多目标跟踪（MOT）任务的核心。作者发现了存在的两个主要的核心问题包括了现有方法大多忽略轨迹和帧内检测之间的上下文信息，这使得跟踪器难以在严重遮挡等具有挑战性的情况下生存。端到端关联方法仅依赖于深度神经网络的数据拟合能力，而几乎没有利用基于优化的分配方法的优势。基于图的优化方法大多利用单独的神经网络来提取特征，这带来了训练和推理之间的不一致。提出了一种新颖的可学习图匹配方法来解决这些问题。将轨迹和帧内检测之间的关系建模为通用无向图。

CVPR2018最佳论文提名的工作Deep Learning of Graph Matching首次将端到端的深度学习技术引入图匹配，提出了全新的深度图匹配框架。我们提出了一种端到端模型，可以学习图匹配过程的所有参数，包括一元和成对节点邻域，表示为深度特征提取层次结构。相比于只考虑节点与节点之间一阶相似度关系的点匹配，图匹配还考虑了图结构中，边到边的二阶相似度，实际上，在图匹配算法中，任意一对顶点、任意一对边之间，都存在相应的相似度度量。由于额外考虑了图结构中的二阶相似度信息。

现有的MOT方法大都关注到局部的关系而忽略了全局的关系。一些方法将 MOT 问题表述为图优化问题。然而，这些方法基于静态图，很少更新。为了解决这些问题，我们设计了一种具有端到端图网络的新近在线 MOT 方法。设计一个外观图网络和一个运动图网络来分别捕获外观和运动相似度。我们的图网络中精心设计了更新机制，这意味着图中的节点边和全局变量都可以更新。全局变量可以捕获全局关系以帮助跟踪。最后，提出了一种处理丢失检测的策略来弥补检测器的缺陷。

在学习多目标跟踪的时候，相信所有人最开始接触的都是SORT 或者是DeepSORT算法吧。其中最重要的一部分就是KF（卡尔曼滤波了）。包括之前自己学习的一些SORT算法也发现了对应KF本身之间的改进和思考是比较少的。SORT -> DeepSORT (改进的是级联匹配)DeepSORT -> ByteTrack (基于外观的高分框与低分框的匹配)ByteTrack - > GMtracker （引入图结构和图匹配增强匹配特征）

之前常用的是启发式的算法来进行跟踪。提出了 MOTR，引入了的概念。track query对整个视频中的跟踪实例进行建模。track query逐帧传输和更新，以随着时间的推移执行迭代预测。是一种隐式的关联方法提出了轨迹感知标签分配来训练轨迹查询和新生对象查询。我们进一步提出时间聚合网络和集体平均损失来增强时间关系建模。取得了良好的效果。这些方法需要基于相似性的后处理匹配，这成为跨帧时间信息流的瓶颈。介绍一个完全端到端的 MOT 框架，具有关联运动和外观建模功能。

目前的MOT研究仍然局限于输入流的固定采样帧率。根据经验当输入帧速率发生变化时，所有最新最先进的跟踪器的准确性都会急剧下降。本文的研究工作主要是：将注意力转向帧率不可知 MOT(FraMOT) 问题上去了。具有周期性训练方案的帧率无关多目标跟踪框架（FAPS））的帧率不可知 MOT 框架，以首次解决FraMOT问题。提出了一个帧速率不可知关联模块（FAAM老师推荐重点学习的部分，它可以推断和编码帧速率信息，以帮助跨多帧速率输入进行身份匹配。

对于将多目标跟踪用于行人重识别或者行人检测等一些群体模型中，现在主要有两种解决方式。一是将数据关联问题转化为图匹配问题来求解二是应用社会权力模型作为群体追踪的高级约束前一种情况，随着跟踪对象数量的增加，求解难度呈几何级数增长，无法满足实时跟踪需求的计算效率，后面的一种情况会限制灵活性。因此文章的重点是提出一种时空相关性和图神经网络的多目标跟踪方法。首先，通过时空关系学习模块提取历史轨迹的关系特征，对对象的时空相关性进行建模。图神经网络结合外观和运动信息，将每个检测和轨迹之间的相似度作为节点特征。

图匹配就是：不仅考虑点之间的配准，还考虑边之间的配准 registration。这里在匹配的时候不仅要考虑到两个点之间的相似度，还要考虑到两个点之间边的一个相似度，从而就可以构成图结构，从而引入了图匹配的问题。如上，匹配两个图，一个图有5个点，一个图有4个点，我们要做的就是求解出一个5×4的0-1矩阵（组合优化问题），得到点与点间的匹配关系。一个很直接的求解方法是：计算点与点之间的相似度，构造Kp矩阵，然后求解这个规划模型。这里涉及了多目标跟踪领域的一个很常见的二部图关联算法—匈牙利算法，

像素的追踪问题在之前的情况下通常会被视为是一个密集光流的估计问题，就像我们所学习过的RATF一样。跟踪视频中的像素通常作为光流估计问题来研究，其中每个像素都用一个位移向量来描述，该位移向量将其定位在下一帧中。那么这篇文章中对于像素点的跟踪是如何进行跟踪的呢？和之前的光流有什么区别呢？在本文中，我们重新审视 Sand 和 Teller 的“粒子视频”方法，并将像素跟踪作为远程运动估计问题进行研究这种方法旨在结合特征跟踪和光流的优点：产生既空间密集又时间上长程的运动估计。

它们在实践中太慢，无法在合理的时间内跟踪单帧中观察到的每个点。因此文章提出了DOT的方法这个和核心步骤在摘要中就已经给出了就是下面的三个部分组成的。它首先使用现成的点跟踪算法—Cotrakcer2从运动边界的关键区域中提取一小组轨迹。给定源帧和目标帧，DOT 然后通过最近邻插值计算密集流场和可见性掩模的粗略初始估计。可学习的光流估计器对其进行精炼我们证明，DOT 比当前的光流技术更加准确。

有效的跟踪器应该在不同场景中表现出高度的通用性，现有的跟踪器难以兼顾所有方面，或需要通过假设和实验来定制特定场景的关联信息（运动和/或外观），导致解决方案过于狭隘，通用性有限。本文探讨了影响跟踪器在不同场景中泛化能力的因素，并将其具体化为一组跟踪场景属性，以指导设计更具通用性的跟踪器。提出了一种逐点到实例关系跟踪框架，用于多目标跟踪，即GeneralTrack，该框架能够在不同场景中进行泛化，同时无需平衡运动和外观。重点指出的是具有较高的普遍性通用性。

论文摘要中首先提出了：对多目标跟踪（MOT）而言大多数仅依赖于粗粒度物体线索（如边界框和物体的整体外观特征）的方法容易因动态对象内部关系的扭曲而降解。NetTrack构建了一个动态感知关联，利用细粒度Net，利用点级视觉线索。相应地，还引入了细粒度采样器和匹配方法通过这一篇文章主要的是要学习参考MOT的点跟踪网络如何进行特征点的采样和关于点匹配的算法，看看能不能用到之后的工作中去。NetTrack学习物体-文本对应以进行细粒度定位。

这一篇文章的摘要十分的简单，主要就包括了两个方面，第一提出了自己改进的三个创新点，第二介绍在挑战赛中排名第一。结合了运动motion和外观appearance信息的优势，加入了相机运动补偿，以及更准确的卡尔曼滤波状态向量。我们的新跟踪器 BoT-SORT 和在 MOTchallenge 数据集中排名第一。

个人的理解是第一次先做自注意力是为了获取全局的信息，之后我们在做交叉注意力进行匹配，重复的做自注意力是为了告诉后面的特征点已匹配的部分信息，避免重复的匹配。对这142个已经匹配的区域，再做实际点的微调，也就是25个点再最匹配的。现在我们完成的是粗粒度的匹配，也就是说经过Transform之后完成的实际上是区域之间的匹配问题。但是区域之间的点的匹配会存在一定的偏差。现在我们要算这25个点与其中心点的关系，相当于我要以中心点为圆心，算周围点跟它的概率关系，这样会得到一个热度图例如最后输出了142。

一个通用框架下进行目标检测和数据关联，能够在长时间跨度后链接对象。这是通过保留一个大的时空存储器来存储跟踪对象的身份特征向量（Embedding），并根据需要自适应地引用和聚合存储器中的有用信息来实现的可以简单理解为一个网络的区域。Our model called MeMOT 并且由三个部分组成假设生成(Hypothesis Generation)记忆编码器(Memory Encoding)记忆解码器（Memory Decoding）假设生成：生成当前视频帧中的对象建议。

现有的方法仅显式地利用相邻帧之间的对象特征，而缺乏对长期时间信息进行建模的能力。我们的方法能够通过利用带有定制内存注意力层的长期内存注入，使同一对象的轨迹嵌入更加稳定和可区分DanceTrack 上的实验结果表明，MeMOTR 在 HOTA 和 AssA 指标上分别超越了最先进的方法 7.9% 和 13.0%对其中的主要的创新点进行一定的总结：将长时记忆（Long-Term Memory）注入到 track query 中，以获取更加稳定的特征表示。

第一个部分主干网络的中间特征层定义了。

论文首先重新审视了经典的跟踪器DeepSORT，然后从目标检测特征嵌入和轨迹关联等多个角度进行了显着改进从而提出了StrongSORT。提出了两种轻量级、即插即用的算法来解决 MOT 两个固有的“缺失”问题：关联失败和没检测到（没有关联到检测框的轨迹、没有关联到轨迹的检测框具体来说，与大多数方法不同，大多数方法以高计算复杂度将短轨迹关联成完整轨迹提出了一种无外观链接模型（AFLink），可以在没有外观信息的情况下执行全局关联，并在速度和准确性之间取得良好的平衡。

论文中首先提出了现有的 Siamese 或 Transformer 跟踪器通常将视觉对象跟踪视为一次性检测问题。也就是说双阶段的检测问题依赖于检测器的检测结果这种想法随之就产生了一个问题：缺乏自我校正，这些跟踪器可能很容易漂移到具有相似外观的干扰物。间接的导致跟踪性能的下降于是本文提出将视觉跟踪作为基于点集的去噪扩散过程，并提出了一种新颖的基于生成学习的跟踪器，称DiffusionTrack。后面作者分了两个方面对这个跟踪器的贡献和特色来进行介绍。第一点：是相对比较熟悉的一个点。

多目标跟踪方法可以分类两阶段的逐检测的跟踪方法(TBD)和单阶段的联合检测和跟踪的方法(JDT)TBD的一些情况说明：两阶段的逐检测跟踪方法（TBD）：将多目标跟踪任务分为两个阶段：首先进行单帧的目标检测得到每帧的目标框，然后根据帧间同一目标的共性进行关联（association）在TBD框架中，检测器的性能对跟踪效果有很大的影响。TBD方法能够跟踪任意数量的目标，但需要训练特定的目标检测器。TBD方法的优点在于结构清晰、容易优化，但多阶段的训练可能导致次优解。

我们将从摘要中获取到的核心的概念信息来进行总结：这是一个新的框架，它将对象检测表述为从噪声框到对象框的去噪扩散过程在训练阶段，对象框从真实框GT扩散到随机分布，并且模型学习逆转这种噪声过程。恢复到真实框通过损失函数来进行训练。在推理阶段，模型以渐进的方式将一组随机生成的框细化为输出结果。也就是对一张随机加噪通过模型去噪来生成最终的预测框。

在摘要概况总结的部分我们首先对整个跟踪器的主要的内容进行一定的介绍和总结。CoTracker是一个基于Transform的在2d空间条件下对其中像素点进行跟踪的跟踪器。CoTracker是一个联合跟踪器考虑到了上下文之间的关系，这一点在后面会有一定的介绍。CoTracker是一个基于短窗口的在线跟踪算法，其利用unrolled windows窗口进行循环的训练和推理。是一种结合光流思想的点跟踪运动估计算法，取得了良好的成绩。CoTracker引入了几个技术创新，包括虚拟轨迹。

摘要的核心总结：RAFT 逐像素提取特征，为所有像素对构建多尺度4D相关体，并通过循环单元在相关体上进行查找，以迭代更新光流场。是一种新的光流深度网络架构。在学习完成论文之后总结来说：其中的两个关键的词包含了光流跟踪最重要的两个过程信息。correlation: 是我们计算像素之间的全相关性和进行保持高分辨率不变的基础上进行多尺度金字塔构建的一个核心。lookup：是作者们为了简化一定的计算和损失，所提出的一种在coor上寻找特征点的一种方法。（难理解要结合看代码）。

因为版权的问题：SIFT和它的改进算法SURF算法在2020年之后版权到期，要想通过opencv调用要使用之前指定版本的opencv。

引言介绍：如果只是希望获取图像上的一些信息（例如等），那么我们不会对三维空间中相机的位置有所要求。但如果希望通过二维的图像去理解三维空间中摄像机的信息，或者是图像中物体在三维空间中的信息，那么就不得不考虑成像过程中三维变化为二维时的具体过程。而摄像机模型就是三维到二维的一种映射。本文简要总结了单目相机的成像过程，以便于读者将相机模型作为一种基础的工具理解更深层次的内容。

NeRF是使用神经网络(MLP)来隐式的存储3D信息。NeRF是隐式的存储3d信息的，也就可以从另外的一个方向说明了，之前的3d信息是通过显示的方式来进行存储的。显式的3D信息：有明确x，y，z的值（mesh，voxel，点云…等）隐式的3D信息：无明确的x/y/z的值，只能输出指定角度的2D图片。我们从论文中就可以得到。模型输入是5D向量(x, y, z, theta, phi);模型输出是4D向量， (密度，颜色（RGB）);模型是8层的MLP。

现有的目标跟踪算法主要有两大类：分别是生成式方法运用生成模型描述目标的外观特征，之后通过对候选区域进行搜索寻找与目标最接近的候选区域作为跟踪的结果。比较常用的方法有卡尔曼滤波、粒子滤波和均值滤波等等。但这种方法，只使用了目标本身的一些特征，没有利用背景信息，所以在目标自身发生剧烈变化和遮挡时，跟踪结果会产生漂移。判别式方法使用图像特征+机器学习的套路，在当前帧目标附近采集正负样本(目标为正样本，背景为负样本)，使用这些正负样本训练一个分类器，下一帧用训练好的分类器，找出最后的候选区域作为目标的位置。，大部分

是深度点云处理的开山之作。包括了两个最常用的算法PointNetPointNet++第二种包括了基于卷积的一些方法信息。第三种包括了通过图构造的方法来处理点云之间的关系信息。构造关系学习特征提取加池化等等一些点云处理的方向。之后在根据研究的需要，具体描述PointNet和PointNet++两个点云处理算法。

说明：对于Gmtracker多目标跟踪算法中涉及到的QP或者是QAP等一些有关图匹配的问题，不做过多的说明只提供源代码中通过图网络的具体实现细节。

整个算法流程中最为核心的方法：BYTETracker.update。使用跟踪方法在检测中通过回调的方式调用对应的目标函数。

例如在论文的图a中出现的置信度为0.1的得分框并不是真实的人物而是出现的。

由于sort算法还是比较粗糙的追踪算法，当物体发生遮挡的时候，特别容易丢失自己的ID。而Deepsort算法在sort算法的基础上增加了和新轨迹的确认（confirmed）。Tracks分为确认态（confirmed），和不确认态（unconfirmed），新产生的Tracks是不确认态的；不确认态的Tracks必须要和Detections连续匹配一定的次数（默认是3）才可以转化成确认态。确认态的Tracks必须和Detections（默认70次），才会被删除。Deepsort的算法流程图如下所示。