xiaoxu的博客

在cv中常常用来比较两个图片的相似度。孪生神经网络就是将输入进来的两张图片利用同一个神经网络进行特征提取，然后利用比较网络对这两个特征进行比较，最终输出一个长度为1的一维向量，其值在0-1之间，用于表示输入进来的图片的相似程度。其网络组成和执行的过程可以概括为下面的几个方面。孪生神经网络的主干特征提取网络的功能是进行特征提取，各种神经网络都可以适用，例如使用VGG16。比较网络。

现代的目标检测器在很大程度上依赖于矩形边界框，如锚，建议和最终预测，以表示在各个识别阶段的对象。边界框使用方便，但仅提供对象的粗略定位，并导致对象特征的相应粗略提取。在本文中，我们提出了RepPoints（代表点），一个新的更精细的表示对象作为一组样本点有用的本地化和识别。给定用于训练的地面实况定位和识别目标，RepPoint学习以限制对象的空间范围并指示语义上重要的局部区域的方式自动排列自己。此外，它们不需要使用锚来对边界框的空间进行采样。

在较长的视频剪辑中跟踪表面上的任意物理点的问题已经受到了一些关注，但到目前为止，还没有用于评估的数据集或基准。在本文中，我们首先将问题形式化，将其命名为跟踪任意点（TAP）我们介绍了一个辅助基准测试，TAP-Vid，包含了真实世界的视频，这些视频具有准确的人体标注的点轨迹，以及合成视频，这些视频具有完美的真实点轨迹。我们基准构建的核心是一种新颖的半自动众包管道，它使用光流估计来补偿更简单的短期运动（如相机抖动），使注释者能够专注于视频中较难的部分。我们在合成数据上验证了我们的流程，并提出了一个。

首先，我们设计了动态图到点（DGTP）模块来学习点云局部图的特征表示，以提高局部特征的识别能力。然后，通过和引入的边缘阈值λ动态建立边缘，并使用图注意网络提取点云的全局特征以考虑拓扑结构中相似特征之间的关系。同时，从节点本身、局部和全局三个维度计算分数，并求和以进行关键点检测。最后，提出了一种两阶段图匹配方法，将具有高度相似特征的关键点分为不同的点组，并在第一阶段图匹配中建立点组的对应关系。在第二阶段的图匹配中建立了对应点群中的点的对应关系，从而减少了相似特征对点云配准精度的影响。

CVPR2018最佳论文提名的工作Deep Learning of Graph Matching首次将端到端的深度学习技术引入图匹配，提出了全新的深度图匹配框架。我们提出了一种端到端模型，可以学习图匹配过程的所有参数，包括一元和成对节点邻域，表示为深度特征提取层次结构。相比于只考虑节点与节点之间一阶相似度关系的点匹配，图匹配还考虑了图结构中，边到边的二阶相似度，实际上，在图匹配算法中，任意一对顶点、任意一对边之间，都存在相应的相似度度量。由于额外考虑了图结构中的二阶相似度信息。

现有的MOT方法大都关注到局部的关系而忽略了全局的关系。一些方法将 MOT 问题表述为图优化问题。然而，这些方法基于静态图，很少更新。为了解决这些问题，我们设计了一种具有端到端图网络的新近在线 MOT 方法。设计一个外观图网络和一个运动图网络来分别捕获外观和运动相似度。我们的图网络中精心设计了更新机制，这意味着图中的节点边和全局变量都可以更新。全局变量可以捕获全局关系以帮助跟踪。最后，提出了一种处理丢失检测的策略来弥补检测器的缺陷。

在学习多目标跟踪的时候，相信所有人最开始接触的都是SORT 或者是DeepSORT算法吧。其中最重要的一部分就是KF（卡尔曼滤波了）。包括之前自己学习的一些SORT算法也发现了对应KF本身之间的改进和思考是比较少的。SORT -> DeepSORT (改进的是级联匹配)DeepSORT -> ByteTrack (基于外观的高分框与低分框的匹配)ByteTrack - > GMtracker （引入图结构和图匹配增强匹配特征）

之前常用的是启发式的算法来进行跟踪。提出了 MOTR，引入了的概念。track query对整个视频中的跟踪实例进行建模。track query逐帧传输和更新，以随着时间的推移执行迭代预测。是一种隐式的关联方法提出了轨迹感知标签分配来训练轨迹查询和新生对象查询。我们进一步提出时间聚合网络和集体平均损失来增强时间关系建模。取得了良好的效果。这些方法需要基于相似性的后处理匹配，这成为跨帧时间信息流的瓶颈。介绍一个完全端到端的 MOT 框架，具有关联运动和外观建模功能。

目前的MOT研究仍然局限于输入流的固定采样帧率。根据经验当输入帧速率发生变化时，所有最新最先进的跟踪器的准确性都会急剧下降。本文的研究工作主要是：将注意力转向帧率不可知 MOT(FraMOT) 问题上去了。具有周期性训练方案的帧率无关多目标跟踪框架（FAPS））的帧率不可知 MOT 框架，以首次解决FraMOT问题。提出了一个帧速率不可知关联模块（FAAM老师推荐重点学习的部分，它可以推断和编码帧速率信息，以帮助跨多帧速率输入进行身份匹配。

上文利用因式分解的方式得到一种新的统一的图匹配形式化方法，下面要介绍的就是如何求解上面定义的优化问题了。传统的求解图匹配问题通常分成两个步骤：1. 将GM进行连续性松弛，求解松弛后的问题得到一个近似的解；2.将近似解取整得到一个二元解。前文我们介绍过的双随机矩阵松弛就是一种连续性松弛的方式，他将X 由一个只有{ 0 , 1 }元素的离散矩阵，松弛为一个取值范围为[ 0 , 1 ]的连续矩阵，这样就可以用一些基于梯度的优化方法来求解了。

在第二部分我们学习如何将一个指定场景的数据转化成为，图神经网络可以去使用的数据类型。这里使用的是sklearn中的电商系统用户行为分析的数据来进行学习和使用。我们的任务是结合给定的这一副图，来构建出符合结构的数据集。获取出标签数据重新的进行输出。

xvℓ1Wℓ1∑w∈Nv∪v1cwv⋅xwℓxvℓ1​Wℓ1w∈Nv∪v∑​cwv​1​⋅xwℓ​# 导入全连接层和一个图卷积层self.conv1 = GCNConv(dataset.num_features,4) # 只需要定义好输入特征和输出特征即可self.classifier = Linear(2,dataset.num_features) # 最后一层的分类结构。

从这里也可以简单的了解文章的核心是如何通过对比学习的概念对模型进行预训练（原文使用的Encode的结构就是我们所熟悉的RestNet50的结构了）

GPT1是由OpenAI公司发表在2018年要早于我们之前介绍的所熟知的BERT系列文章。总结：GPT 是一种半监督学习，采用两阶段任务模型，通过使用无监督的 Pre-training 和有监督的 Fine-tuning 来实现强大的自然语言理解。在 Pre-training 中采用了 12 层的修改过的 Transformer Decoder 结构，在 Fine-tuning 中会根据不同任务提出不同的分微调方式，从而达到适配各类 NLP 任务的目的这篇文献的主要贡献是提出了一种基于生成式预训练的语言理解

我们的编码器部分主要包括了三个部分组成，其中BERT base是堆叠了12个编码器，而BERT large部分主要是堆叠了24个编码器部分。

论文首先重新审视了经典的跟踪器DeepSORT，然后从目标检测特征嵌入和轨迹关联等多个角度进行了显着改进从而提出了StrongSORT。提出了两种轻量级、即插即用的算法来解决 MOT 两个固有的“缺失”问题：关联失败和没检测到（没有关联到检测框的轨迹、没有关联到轨迹的检测框具体来说，与大多数方法不同，大多数方法以高计算复杂度将短轨迹关联成完整轨迹提出了一种无外观链接模型（AFLink），可以在没有外观信息的情况下执行全局关联，并在速度和准确性之间取得良好的平衡。

论文中首先提出了现有的 Siamese 或 Transformer 跟踪器通常将视觉对象跟踪视为一次性检测问题。也就是说双阶段的检测问题依赖于检测器的检测结果这种想法随之就产生了一个问题：缺乏自我校正，这些跟踪器可能很容易漂移到具有相似外观的干扰物。间接的导致跟踪性能的下降于是本文提出将视觉跟踪作为基于点集的去噪扩散过程，并提出了一种新颖的基于生成学习的跟踪器，称DiffusionTrack。后面作者分了两个方面对这个跟踪器的贡献和特色来进行介绍。第一点：是相对比较熟悉的一个点。

MS COCO是一个非常大型且常用的数据集，其中包括了目标检测，分割，图像描述等。

多目标跟踪方法可以分类两阶段的逐检测的跟踪方法(TBD)和单阶段的联合检测和跟踪的方法(JDT)TBD的一些情况说明：两阶段的逐检测跟踪方法（TBD）：将多目标跟踪任务分为两个阶段：首先进行单帧的目标检测得到每帧的目标框，然后根据帧间同一目标的共性进行关联（association）在TBD框架中，检测器的性能对跟踪效果有很大的影响。TBD方法能够跟踪任意数量的目标，但需要训练特定的目标检测器。TBD方法的优点在于结构清晰、容易优化，但多阶段的训练可能导致次优解。

DDIM:发表于2021年ICLR,作者来自斯坦福大学。在使用DDPM进行目标检测的时候就结合使用了DDIM。

我们将从摘要中获取到的核心的概念信息来进行总结：这是一个新的框架，它将对象检测表述为从噪声框到对象框的去噪扩散过程在训练阶段，对象框从真实框GT扩散到随机分布，并且模型学习逆转这种噪声过程。恢复到真实框通过损失函数来进行训练。在推理阶段，模型以渐进的方式将一组随机生成的框细化为输出结果。也就是对一张随机加噪通过模型去噪来生成最终的预测框。

现在最先进的视觉系统，都是使用已经提前定义好的一组物体类别的集合模型通过预测这些固定的类别来去完成训练的。也就是Imagenet有1000个类别作者提出直接从自然语言这里得到监督的信号是一种非常有前途的做法。我们的训练任务是给定一张图片在给定一个句子，我们的模型需要去判断哪一个图像和哪一个句子之间是配对的。我们就需要一个图片和文字的数据集通过多模态的对比学习去完成模型的训练的。在预训练完成之后呢自然语言就用来去引导我们的视觉模型了。可以之间在下游的任务上做zero-shot的推理的C

在摘要概况总结的部分我们首先对整个跟踪器的主要的内容进行一定的介绍和总结。CoTracker是一个基于Transform的在2d空间条件下对其中像素点进行跟踪的跟踪器。CoTracker是一个联合跟踪器考虑到了上下文之间的关系，这一点在后面会有一定的介绍。CoTracker是一个基于短窗口的在线跟踪算法，其利用unrolled windows窗口进行循环的训练和推理。是一种结合光流思想的点跟踪运动估计算法，取得了良好的成绩。CoTracker引入了几个技术创新，包括虚拟轨迹。

摘要的核心总结：RAFT 逐像素提取特征，为所有像素对构建多尺度4D相关体，并通过循环单元在相关体上进行查找，以迭代更新光流场。是一种新的光流深度网络架构。在学习完成论文之后总结来说：其中的两个关键的词包含了光流跟踪最重要的两个过程信息。correlation: 是我们计算像素之间的全相关性和进行保持高分辨率不变的基础上进行多尺度金字塔构建的一个核心。lookup：是作者们为了简化一定的计算和损失，所提出的一种在coor上寻找特征点的一种方法。（难理解要结合看代码）。

SIFT算法的实质是在不同的尺度空间上查找关键点（特征点），并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。SIFT算法特点具有较好的稳定性和不变形，能够适当旋转、尺度缩放、亮度的变化能在一定程度上不受视角变化、仿射变换、噪声的干扰。区分性好，能够在海量特征数据库中进行快速准确的区分信息进行匹配多属性，就算只有单个物体，也能产生大量特征向量高速性，能够快速的进行特征向量匹配。

同理按照相同的套路进行递归或者说是循环，就可以依次的得到 R3 R3 R1的输出结果。Coarse-to-Fine的一个过程。先把整体做好，再还原细节。

这是一个Standard bottleneck，这种bottleneck结构在深度神经网络中广泛使用，特别是在卷积神经网络中，它可以有效减少参数数量，降低运算复杂度，同时尽可能保持网络性能。

提出了针对于移动和嵌入式视觉应用的高效神经网络MobileNets以深度可分离卷积为主体构建网络结构引入两个全局超参数实现准确率与延时性平衡（深度超参数，分辨率超参数详实的实验验证了MobileNets的高效性。

NeRF是使用神经网络(MLP)来隐式的存储3D信息。NeRF是隐式的存储3d信息的，也就可以从另外的一个方向说明了，之前的3d信息是通过显示的方式来进行存储的。显式的3D信息：有明确x，y，z的值（mesh，voxel，点云…等）隐式的3D信息：无明确的x/y/z的值，只能输出指定角度的2D图片。我们从论文中就可以得到。模型输入是5D向量(x, y, z, theta, phi);模型输出是4D向量， (密度，颜色（RGB）);模型是8层的MLP。

现有的目标跟踪算法主要有两大类：分别是生成式方法运用生成模型描述目标的外观特征，之后通过对候选区域进行搜索寻找与目标最接近的候选区域作为跟踪的结果。比较常用的方法有卡尔曼滤波、粒子滤波和均值滤波等等。但这种方法，只使用了目标本身的一些特征，没有利用背景信息，所以在目标自身发生剧烈变化和遮挡时，跟踪结果会产生漂移。判别式方法使用图像特征+机器学习的套路，在当前帧目标附近采集正负样本(目标为正样本，背景为负样本)，使用这些正负样本训练一个分类器，下一帧用训练好的分类器，找出最后的候选区域作为目标的位置。，大部分

补充官网提供的预测部分的代码信息

是深度点云处理的开山之作。包括了两个最常用的算法PointNetPointNet++第二种包括了基于卷积的一些方法信息。第三种包括了通过图构造的方法来处理点云之间的关系信息。构造关系学习特征提取加池化等等一些点云处理的方向。之后在根据研究的需要，具体描述PointNet和PointNet++两个点云处理算法。

CenterNet作为2019年CVPR推出的论文，论文中给出了官方代码所在的github仓库地址。。整个代码的代码量并不是特别大，从而导致了整个项目在启动和加载时或产生很多的错误。

目前主流且最成功的目标检测方法效率低下，浪费计算资源。本文提出的方法将目标用一个中心点来表示，同时可以回归与中心点相关联的其他属性。简单，更快，更准确，COCO测试集上做到速度与精度的平衡。3D目标检测和人体姿态估计上，可以做到实时运行，且精度较高；添加一个深度的回归参数。

对于图神经网络（GNN）来输入的数据是图。（解决输入数据不规则情况）研究涵盖：节点分类（nodeclassification）、边预测（linkprediction）、社群检测（community detection）、网络营销（viral marketing）、snap数据集是Jure等人不间断收集的网络数据集，极大地推动社交网络领域的发展整个GNN的任务整体上可以分为3种主要的任务组成。

说明：对于Gmtracker多目标跟踪算法中涉及到的QP或者是QAP等一些有关图匹配的问题，不做过多的说明只提供源代码中通过图网络的具体实现细节。

输入的部分包括了两个部分Embedding 和 位置编码结合进行输入。

整个算法流程中最为核心的方法：BYTETracker.update。使用跟踪方法在检测中通过回调的方式调用对应的目标函数。

例如在论文的图a中出现的置信度为0.1的得分框并不是真实的人物而是出现的。

由于sort算法还是比较粗糙的追踪算法，当物体发生遮挡的时候，特别容易丢失自己的ID。而Deepsort算法在sort算法的基础上增加了和新轨迹的确认（confirmed）。Tracks分为确认态（confirmed），和不确认态（unconfirmed），新产生的Tracks是不确认态的；不确认态的Tracks必须要和Detections连续匹配一定的次数（默认是3）才可以转化成确认态。确认态的Tracks必须和Detections（默认70次），才会被删除。Deepsort的算法流程图如下所示。