藏晖的博客

CVPR2022 MOT文章汇总

本文总结近期三篇对Sort和DeepSort改进的工作，Sort和DeepSort以及JDE的推理流程可以参考之前的文章：Sort和Deepsort原理解析及在JDE和Fairmot中的应用一、ByteTrack: Multi-Object Tracking by Associating Every Detection Box论文链接：https://arxiv.org/pdf/2110.06864.pdfGithub：https://github.com/ifzhang/ByteTrack1、Mo

AAAI2022 多目标跟踪文章总结

ICCV2021 多目标跟踪文章汇总

本文中，我想测评下tensorRT，看看它在不同方式下的加速效果。用Tensorrt加速有两种思路，一种是构建C++版本的代码，生成engine，然后用C++的TensorRT加速。另一种是用Python版本的加速，Python加速有两种方式，网络上基本上所有的方法都是用了C++生成的engine做后端，只用C++来做前端，这里我提供了另外一个用torchtrt加速的版本。一、安装Tensorrt参考教程所有工程前最苦恼的问题，配置环境。。以下是我参考的连接。1、安装可以通过tar或者deb安装h

Contrastive Methods 与 Generative Methods不同，这类方法并不需要去重构原始输入，而是希望能够在高阶的特征空间中对不同的输入进行分辨，从而促使模型去学习一些通用的特征表示。在前文（自监督学习（Self-Supervised Learning）个人小结）中我们已经讨论了这种方法的原理和为什么它可以work，本篇博客主要想总结下这类方法的几篇工作。文献目录[1] Aaron van den Oord, Yazhe Li, Oriol Vinyals. “Represen

Generative Methods是通过构建代理任务（proxy task）来进行自监督学习。在前文（自监督学习（Self-Supervised Learning）个人小结）中我们已经讨论了这种方法的原理和为什么它可以work，本篇博客主要想总结下这类方法的几篇工作。文献目录[1] Xiaolong Wang, Abhinav Gupta. “Unsupervised leaning of visual representation using videos”. In: ICCV 2015.[2]

最近很多的方法都会说他用了自监督的学习方式。也有很多的学者表示自监督学习成为了流行是一种必然趋势，虽然在现实世界中，我们可以很容易采集到大量的数据，但是对数据进行标注并不是一项简单的工作，如何从大量无标注的数据中学习到有效的知识是现在乃至以后都非常重要的一个问题。本文中，我想分为以下方面进行总结。1、什么是自监督学习，这些方法为什么work。2、总结每一类方法中几种比较出名的方法（如果太长，可能会每一类分一篇文章写一下）。一、什么是自监督学习，自监督学习能学习到哪些信息（Self-Supervise

NMS方法的总结可以参考我之前的文章：https://blog.csdn.net/qq_34919792/article/details/108186234非极大值抑制（Non-Maximum Suppression，NMS），顾名思义就是抑制不是极大值的元素。在检测中，我们通过将IOU大于一定阈值的框做一个筛选，只保留置信度最高的框。网上比较经典的实现思路def py_cpu_nms(dets, thresh): """Pure Python NMS baseline.""" #x1、y1

CVPR2021 多目标跟踪（MOT）方向文章检索到了9篇，如有遗漏，麻烦告知，谢谢。指标对比和论文下载地址已经更新到我们所做的指标对比库，欢迎大家查阅。https://github.com/JudasDie/Comparison一、《Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking》作者: Chanho Kim 1, Li Fuxin 2, Mazen A

CSTrack: Rethinking the competition between detection and ReID in Multi-Object Tracking论文链接：https://arxiv.org/abs/2010.12138Github链接：https://github.com/JudasDie/SOTS这是最近开源的一篇MOT的工作，第一版本的代码已经开源（70.7 MOTA in MOT16，70.6 MOTA in MOT17）。✨????新版本的代码也将会在之后开源（

SiamNet 系列方法总结1、SiamFC2、DSiam（ICCV2017）3、SiamRPN（CVPR18）4、SASiam（CVPR18）5、StruckSiam（ECCV2018)6、SiamTri（ECCV2018）7、DaSiamRPN（ECCV2018）8、UpdateNet（ICCV2019）9、SiamRPN++（CVPR2019）10、SiamMask（CVPR2019）11、SiamDW(CVPR2019)12、SiamFC++（AAAI2020）13、SiamAttn（CVPR202

Pytorch 工程重构后模型参数（.pt）读取失败解决方法问题: 近期重构工程遇到了之前训练的模型参数没法读取的问题，即用重构后的工程在测试阶段去加载原来工程训练好的参数会方向有路径问题。通过探究发现在.pt文件中model一项的类型包含了原来工程的路径信息，需要放置在同一个路径下才可以读取成功。重构type还是比较困难的，但是在测试代码中，我发现大多数模型在加载参数的过程中会将模型参数加载成dict的形式，而忽略没有必要的路径信息。为此我们可以建立一个新字典，将state_dict的步骤放

MOT方法总结（主要是2020—2017的方法）——持续更新https://github.com/JudasDie/Comparison/blob/master/Multiple%20Object%20Tracking.md其中归纳了近年来MOT的大部分方法，直到17年，实际上在17年之前也有很多很好的方法，但是那时候现在较为主流的评测基准MOT challange并没有流行起来。所以方法目前只总结到17年，在github中提供了Google drive和百度网盘的下载连接。如果有什么好的方法有遗漏欢迎

这一系列博客将基于京东开源的FastReID进行扩充，详细介绍了ReID的各个组成部分，一些有用的Trick，评价指标，常用数据集等，详细内容见下方的链接，总结不易，如有理解不正确之处，麻烦各位批评指正。一、FastReID的中的baseline文件配置二、Training strategy三、Pre-processing四、Backbone五、Aggregation六、Head七、Loss八、Distance Metric九、Post-processing十、Evaluation十一

       ReID任务中常见的数据集有以下四个：Market-1501、DukeMTMC-reID、CUHK03、MSMT171、Market-1501       Market-1501 数据集在清华大学校园中采集，夏天拍摄，在 2015 年构建并公开。它包括由6个摄像头（其中5个高清摄像头和1个低清摄像头）拍摄到的 1501 个行人、32668 个检测到

1、Rank1(CMC，Cumulative Matching Characteristics)       Rank1是我们在阅读ReID相关论文中最常见的两个指标之一，它的计算如下：       1）首先定义一个指示函数表示 q，i 两张图片是否具有相同标签：       2）那么计算ra

       ReID任务中存在的后处理方法的目的是为了获得更优的匹配结果和更优的匹配排序，在一般的ReID任务中，会通过欧式/余弦距离来计算度量矩阵，并利用k-近邻的思想，从gallery中选择与probe最相似的前k个，但是这种方法很有可能有false match的噪音数据参杂进这个ranking list中，如下图：为此需要使用些后处理方法。1、K-reciprocal（Re-rank）   

       距离度量方法是ReID任务在测试阶段来评价特征与特征之间的距离构建度量矩阵所需的，对于一个ReID任务来说，选用一个好的度量方式，而且和训练的损失可以相互统一，可以为ReID提供很好的性能。1、Eucildean       欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，

       ReID任务在大多数情况下都是多任务学习，主流是分为两个任务，一个是构建id loss，通过分类损失，来学习对应不同id的损失，另一种是triple loss为主的通过特征向量直接构建的损失，学习类内的相似性和类内的区分性，让不同的特征向量直接的区分度更高，让相同的特征向量更加趋同。1、Cross-entropy loss       交叉熵是常见的

       Head指的是ReID任务中将前面模块获得的特征向量做一定变化，来获得可以用于构建损失函数最后完成学习。1、Linear       Linear是ReID中最常见的Head之一，其构成非常简单，仅仅由一层或者多层全连接层构成。全连接层的目标是把特征向量变化为可以构建ID loss（常见的有交叉熵）的one hot编码。2、Bnneck&nb

       聚合（aggregation）指的是在Backbone输出的特征图聚合成一个特征向量来表征一个目标。，如下图表示的GAP。1、Attention pooling       Attention是近年来比较热门的一个方向，它最初源于computer vision领域，是模仿人类视觉的一个杰出成果。人类的眼睛在观察图像是并不会一视同仁，而是将atten

1、ResNet       在FastReID中常用的ResNet结构有ResNet50和ResNet101。调用了在ImageNet上的预训练模型来作为Backbone，这样可以提高模型的性能。关于ResNet的设计，基本上接触过深度学习的都很熟悉了，这里为了方便对比主要列出其残差块的设计。2、ResNeXt       ResNeXt是在ResNet上做

       数据的预处理也是深度学习中常见的增强策略之一，通过对训练数据做出适合任务域的处理，可以缓解训练集和测试集之间分别不同带来的模型过度拟合训练集而在测试集上的效果下降，提高模型的泛化能力。1、Resize       图片的输入尺寸影响模型每个特征图的尺寸，往往，越大的图片输入可以让模型学习到更加清晰高维度的特征，但是会对GPU的显存有更高的要求。对于图

       训练策略基本上对于每一个深度学习方法来说都很重要，选用到好的优化器或者学习策略可以使得我们的模型更快的收敛到最优值，比较常见需要调节的有如下：1、学习率（Learning rate）       在ReID中BoT把学习率设置为3.5xle-4，之后很多工作都沿用了这个学习率，一个好的学习率可以有助于我们收敛，当然对于不同的数据集来说，学习率的设定是

FastReID：A Pytorch Toolbox for Real-world Person Re-identification论文地址：https://arxiv.org/pdf/2006.02631v1.pdf代码地址：https://github.com/JDAI-CV/fast-reidFastReID是京东开源的一个Baseline，该库可以称为产品级别的标准开源库，集成了近年来reid很多很好的操作，其结构图如下：在FastReID中提供了不同的baselines，使用了不同的ba

NMS方法总结(不需要学习的NMS方法&&需要学习的NMS方法不需要学习的NMS方法：一、NMS二、Soft-NMS（ICCV 2017）三、Weighted NMS（ICME Workshop 2017）四、DIOU-NMS（AAAI2020）五、Cluster NMS（Arxiv 2020.05）需要学习的NMS方法：一、ConvNMS(ICLR 2016)二、Pure NMS Network(CVPR 2017)三、IoU-Guided NMS(ECCV 2018)四、Adaptive

      首先，我们要了解为什么我们要用到大的batchsize来训练我们的模型，这是因为大的batchsize可以让模型中的BN操作计算的不易受到个别数据噪声的影响，可以更快的收敛。更详细的关于batchsize大小的影响可以去参考这一篇文章。https://www.zhihu.com/question/32673260/answer/675161450      但是很多时候受

Sort论文 http://arxiv.org/pdf/1602.00763.pdf代码 https://github.com/abewley/sortSORT算法是在卡尔曼滤波的基础上，用匈牙利算法将卡尔曼滤波预测的BBOX与物体检测的BBOX进行了匹配（关联两个BBox的核心算法是：用IOU计算Bbox之间的距离），选择最优关联结果作为下一时刻的物体跟踪BBOX。Sort算法优缺点Deep SORT作者说的引入了reid的特征之后，id switch相比下减

MOT和MTMC指标总结及详细计算方法1、MOTA：多目标跟踪准确度 (Multiple Object Tracking Accuracy)衡量单摄像头多目标跟踪准确度的一个指标FN 为 False Negative（漏报），整个视频漏报数量之和。FP 为 False Positve（误报），整个视频误报数量之和。IDSW 为 ID Switch（ID 切换总数，误配）：上图图 (a)，从红色的切换到了蓝色，记为一个 IDSW，整个视频误配数量之和，其值越小越好。GT 是 Ground T

Towards Real-Time Multi-Object Tracking（JDE）Paper：https://arxiv.org/pdf/1909.12605v1.pdfGithub：https://github.com/Zhongdao/Towards-Realtime-MOT前文：https://blog.csdn.net/qq_34919792/article/details/106033055       &nbsp

A Simple Baseline for Multi-Object Tracking（FairMOT）Paper：https://arxiv.org/abs/2004.01888Github：https://github.com/ifzhang/FairMOT        这个模型最近在mot上很火，在MOT的多个数据集上取得了很好的成绩，这篇文章想总结自己在阅读和测试代码的时候一下看法。  &n

Tracking without bells and whistles 论文地址：https://arxiv.org/abs/1903.05625本篇文章重要讲述内容在于方法的实现与作者文中的一些分析的想法。#文章的中心思想：作者提出了一种基于检测器的跟踪器（Tracker by Detection），利用检测器（文中的Faster-Rcnn）中的回归模块来完成跟踪任务，算法中不特意去对当...

MTMC Tracking 数据集一、DukeMTMC二、Wildtrack dataset三、其他MTMC数据集       看了网上很多的MTMC的数据集汇总都是针对于Reid任务的，即数据集中的目标都是切割好的行人目标而不是传统意义上摄像头采集来的图片，为此总结一下现有的一些多摄像头下的行人目标的数据集。一、DukeMTMC&...

本段时间阅读了几篇cvpr2019 有关检测方面的论文，对其实现思路做个简单记录。1、Mask Scoring R-CNN本文章中作者所提出的问题是在Mask-RCNN中Mask分支的评分标准是通过判断分割区域是否在检测框中来计算的，这个评分标准对于Mask分支来说依然存在划分缺陷。为此这篇文章的作者增加了一个分支为Mask进行评分，构建损失函数联合训练来提高检测效果。这是该文章中提出了...

一、简介上采样的技术是图像进行超分辨率的必要步骤，最近看到了CVPR2019有一些关于上采样的文章，所以想着把上采样的方法做一个简单的总结。看了一些文章后，发现上采样大致被总结成了三个类别：1、基于线性插值的上采样2、基于深度学习的上采样（转置卷积）3、Unpooling的方法其实第三种只是做各种简单的补零或者扩充操作，下文将不对其进行涉及。为了方便大家阅读，做了个小的目录，接下来的...