xiaoxu的博客

从评论区作者的问答中看到了，图嵌入就是对节点的信息进行嵌入操作的，如果我们想要对节点的信息得到全图的特征表示就要去学习一下全图的特征工程。通过这里来掌握一下从节点的嵌入到整图的嵌入除了我自己指标不太行的取一个平均的操作之前的工作中有没有一些其他的实现算法呢？这里的一个思想是把全图的一个节点的数量作为整体的一个向量，但是根据和自己的任务需求这里有点不太匹配。也就是可以简单的说，当我们的上游的嵌入向量表示的合理的时候，下游的任务才能更加顺利的去进行下去。是一种分布式的表示，这个向量是与下游的任务是无关的。

SuperGlue是一个神经网络，它的作用是通过联合地寻找匹配点和排除无法匹配的点，来匹配两组局部特征这个地方实际上是特征匹配任务和SLAM任务中常用的一个部分。考虑的是做方法的迁移。它通过解一个可微的最优运输问题来估计运输成本，其成本由图神经网络来预测和匈牙利算法这种二部图匹配的问题是很类似的一种问题。SuperGlue引入了一种基于注意力机制的灵活上下文聚合方法，使其能够同时考虑3D场景的结构和特征分配。

之前自己也是写过关于GeneralTrack的解读，这里也是只关注点跟踪实现的重点部分理论的解读和理解，其他的一些方面进行省略。我们提出了一种用于MOT的“逐点到逐实例的关系”框架，即，GeneralTrack，它可以在不同的场景中进行归纳，同时消除了平衡运动和外观的需要。其使用的代码也参考了ByteTrack使用的是主流的TBD范式来进行的。补充:基于中心点的方式存在的问题严重遮挡的情况下类别判断的问题。之后结合平衡外观和运动特征的通用性分析，先对整体的方法进行了一定的概括。提出了一个MOT的。

NetTrack构建了一个动态感知的关联与细粒度的网络，利用点级的视觉线索。相应地，细粒度采样器和匹配方法已被纳入。细粒度采样方法动态感知关联(历史目标框的点和候选框中点匹配完成后，目标框与候选框的匹配)NetTrack引入细粒度学习来解决关联和定位问题（定位主要是检测器的性能问题那里）关于关联，NetTrack利用对象外观上的物理点，这些物理点不易受对象动态性的影响，并形成细粒度的视觉线索。

首先，我们设计了动态图到点（DGTP）模块来学习点云局部图的特征表示，以提高局部特征的识别能力。然后，通过和引入的边缘阈值λ动态建立边缘，并使用图注意网络提取点云的全局特征以考虑拓扑结构中相似特征之间的关系。同时，从节点本身、局部和全局三个维度计算分数，并求和以进行关键点检测。最后，提出了一种两阶段图匹配方法，将具有高度相似特征的关键点分为不同的点组，并在第一阶段图匹配中建立点组的对应关系。在第二阶段的图匹配中建立了对应点群中的点的对应关系，从而减少了相似特征对点云配准精度的影响。

图匹配(GM)问题一直是计算机领域的一个十分经典的问题，包含成对约束的 GM 问题可以表述为二次分配问题(QAP)（QAP）虽然广泛使用，但通过 GM 解决对应问题有两个主要局限性.QAP问题是 NP 难的并且难以近似。GM 算法不包含计算机视觉问题中自然存在的节点之间的几何约束。几何约束是指节点之间在空间中的相对位置、角度、距离等条件。例如，在计算机视觉中的图像配准任务中，物体或特征点的几何位置通常是非常重要的，尤其是在处理带有透视变换、旋转或尺度变化的图像时，几何约束可以帮助确保匹配的准确性。

对于将多目标跟踪用于行人重识别或者行人检测等一些群体模型中，现在主要有两种解决方式。一是将数据关联问题转化为图匹配问题来求解二是应用社会权力模型作为群体追踪的高级约束前一种情况，随着跟踪对象数量的增加，求解难度呈几何级数增长，无法满足实时跟踪需求的计算效率，后面的一种情况会限制灵活性。因此文章的重点是提出一种时空相关性和图神经网络的多目标跟踪方法。首先，通过时空关系学习模块提取历史轨迹的关系特征，对对象的时空相关性进行建模。图神经网络结合外观和运动信息，将每个检测和轨迹之间的相似度作为节点特征。

像素的追踪问题在之前的情况下通常会被视为是一个密集光流的估计问题，就像我们所学习过的RATF一样。跟踪视频中的像素通常作为光流估计问题来研究，其中每个像素都用一个位移向量来描述，该位移向量将其定位在下一帧中。那么这篇文章中对于像素点的跟踪是如何进行跟踪的呢？和之前的光流有什么区别呢？在本文中，我们重新审视 Sand 和 Teller 的“粒子视频”方法，并将像素跟踪作为远程运动估计问题进行研究这种方法旨在结合特征跟踪和光流的优点：产生既空间密集又时间上长程的运动估计。

有效的跟踪器应该在不同场景中表现出高度的通用性，现有的跟踪器难以兼顾所有方面，或需要通过假设和实验来定制特定场景的关联信息（运动和/或外观），导致解决方案过于狭隘，通用性有限。本文探讨了影响跟踪器在不同场景中泛化能力的因素，并将其具体化为一组跟踪场景属性，以指导设计更具通用性的跟踪器。提出了一种逐点到实例关系跟踪框架，用于多目标跟踪，即GeneralTrack，该框架能够在不同场景中进行泛化，同时无需平衡运动和外观。重点指出的是具有较高的普遍性通用性。

论文摘要中首先提出了：对多目标跟踪（MOT）而言大多数仅依赖于粗粒度物体线索（如边界框和物体的整体外观特征）的方法容易因动态对象内部关系的扭曲而降解。NetTrack构建了一个动态感知关联，利用细粒度Net，利用点级视觉线索。相应地，还引入了细粒度采样器和匹配方法通过这一篇文章主要的是要学习参考MOT的点跟踪网络如何进行特征点的采样和关于点匹配的算法，看看能不能用到之后的工作中去。NetTrack学习物体-文本对应以进行细粒度定位。

个人的理解是第一次先做自注意力是为了获取全局的信息，之后我们在做交叉注意力进行匹配，重复的做自注意力是为了告诉后面的特征点已匹配的部分信息，避免重复的匹配。对这142个已经匹配的区域，再做实际点的微调，也就是25个点再最匹配的。现在我们完成的是粗粒度的匹配，也就是说经过Transform之后完成的实际上是区域之间的匹配问题。但是区域之间的点的匹配会存在一定的偏差。现在我们要算这25个点与其中心点的关系，相当于我要以中心点为圆心，算周围点跟它的概率关系，这样会得到一个热度图例如最后输出了142。