SORT论文阅读笔记

已于 2023-06-05 20:54:23 修改
阅读量883 收藏 17
点赞数 3
文章标签： 论文阅读 Powered by 金山文档
于 2023-03-24 11:23:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiyuhaodashabi/article/details/129718967
版权

目前的想法： 若此时tracker为未更新状态，则直接使用前面匹配上的运动轨迹状态做平均预估下一帧轨迹状态，不使用KF预测。 然后使用ORU插值 为了之后的KF

最大的好处： 快

对于oc-sort的ocr ， 虽然是丢失轨迹的检测值和重新出现的检测值IOU关联，但是 在遮挡期间，仍然使用KF对丢失轨迹预测，(预测后的结果你又不用来匹配 这无疑是一种浪费) ，我认为这里还是用KF的目的是通过T-remain 去找到（下图）

和当前Z-remain匹配。

OC-SORT

现有的方法对运动预测都是基于线性运动假设，对非线性运动、遮挡、低帧率视频就没有好的处理效果

SORT有三个缺点：

1.帧率很高的情况，目标位移的噪声可能就和位移大小本身差不多（因为位移会很小），这样Kalman的方差会很大。

2.由于遮挡等原因，如果没有新的轨迹和检测匹配，那目标的噪声可能会积累。证明了误差积累关于时间是平方关系。

3.Kalman主要依赖于状态估计、线性模型，把观测只作为辅助信息。作者认为现在的检测器足够强，应该已经可以把观测作为主要信息了（Observation-Centirc的来源）

一、OOS（Observation-centric Online Smoothing）：减少KF带来的累积误差

bytetrack中的轨迹插值： 轨迹插值是一种有效的后处理方法来获得那些完全被遮挡的物体的框。

这个oos貌似和byte中的轨迹插值就是一回事

现在心里有个疑问 oos是按照匀速运动平滑 但是如果一个人被遮挡后 反方向走 会被追踪到吗

OCM（Observation-centric Momentum）：在代价矩阵中加入轨迹的方向一致性，更好地实现匹配

三 OCR（Observation-centric Recovery）：恢复由于遮挡造成的跟丢问题

“其实单图像检测器其实性能还是蛮差的，他这完全抛弃估计，以检测为中心感觉误差会更差，特别是在自动驾驶等大数据集、复杂场景下，单图像的性能比激光、融合差一大截。”

OCR和OOS都是为了解决被遮挡后 KF预测不可靠的问题

参考：(103条消息) [论文阅读笔记13]Observation-Centric SORT(OCSORT)论文中的公式推导-CSDN博客

(109条消息) 论文阅读：Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking——OC-SORT_大聪聪聪的博客-CSDN博客

Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

WACV2023

(109条消息) 多目标跟踪论文调研_mumuxi_c的博客-CSDN博客

(109条消息) 【MOT】C-BIoU：Hard to Track Objects with Irregular Motions and Similar Appearances?_We!Y1的博客-CSDN博客

C-BIou tracker ：主要改进点使用原始sort，在匹配阶段使用将iou替换成Biou，设置比例扩展匹配框大小，并使用级联匹配机制，通过参数b(Buffer Scale) 设置small buffer & large buffer 分别第一次匹配激活tracker以及第二次未匹配上的tracker;并在KF预测过程中，若此时tracker为未更新状态，则直接使用前面匹配上的运动轨迹状态做平均预估下一帧轨迹状态，不使用KF预测，因为作者认为此时KF已经不准确了，并且使用KF预测增加耗时！

这篇文章貌似在IOUTracker基础上而来

VariabilityTrack:Multi-Object Tracking with Variable Speed Object Movement

在bytetrack基础上改进的

(109条消息) VariabilityTrack:Multi-Object Tracking with Variable Speed Object Movement_bytetrack的改进_Fwenxuan的博客-CSDN博客

两个KF，当目标加速度较大时，使用加速卡尔曼滤波，当目标加速度较小时，使用均匀卡尔曼滤波。

而且还改进了匹配的过程

BoT-SORT代码是基于ByteTrack的基础上进行改进，而Strong-SORT代码是基于原生DeepSort修改（用到了许多现有的网络的tricks），两篇论文有其相似的更新点

(118条消息) BoT-SORT与Strong-SORT论文对比及思考总结_botsort改进_mumuxi_c的博客-CSDN博客

(118条消息) 【文献阅读笔记】BoT-SORT: Robust Associations Multi-Pedestrian Tracking_朝-的博客-CSDN博客

(118条消息) StrongSORT_顾北轻声寒的博客-CSDN博客

(118条消息) 近期关于Sort和DeepSort改进的工作_藏晖的博客-CSDN博客

(118条消息) StrongSORT：Make DeepSORT Great Again_scott198512的博客-CSDN博客

(118条消息) StrongSORT论文阅读笔记_Mobu59的博客-CSDN博客

(118条消息) StrongSORT: Make DeepSORT Great Again_Fwenxuan的博客-CSDN博客

(118条消息) GIAOTracker in VisDrone 2021_visdrone2021数据集_Fwenxuan的博客-CSDN博客

一、Strong-Sort

1.EMA貌似就是OCsort里面的OCM？

2.自适应噪声协方差

普通的卡尔曼滤波容易受到低质量检测的影响，并且忽略了检测噪声尺度上的影响。为了解决这个问题，作者借用了[12]（Giaotracker）中提出的NSA卡尔曼滤波算法，这是一个自适应计算噪声协方差Rk~的公式：

其中，Rk是预置的恒定测量噪声协方差，Ck是状态k下的检测置信度得分。

3.AFLink

4.GSI

线性插值被广泛用于填补缺失检测的恢复轨迹空白。尽管线性插值简单有效，但它忽略了运动信息，这限制了恢复的边界框的准确性。为了解决这个问题，人们提出了几种有效利用时空信息的策略。V-IOUTracker通过在出现漏检时退回到单目标跟踪来扩展IOUTracker。MAT采用循环伪观测轨迹填充策略，对线性插值轨迹进行非线性平滑。需要额外的摄像机运动补偿（CMC）模型和卡尔曼滤波器来预测缺失位置。MAATrack通过仅应用CMC模型简化了它。所有这些方法都使用额外的模型，即单目标跟踪器、CMC、卡尔曼滤波器，以换取性能提升。相反，我们建议基于高斯过程回归（GPR）算法对非线性运动建模。在没有额外耗时组件的情况下，我们提出的GSI算法在准确性和效率之间实现了良好的权衡。

先去学一下GPR是什么东西

(120条消息) 快速入门高斯过程（Gaussian process）回归预测_高斯过程回归_摸鱼大王二百五的博客-CSDN博客

  • 一个高斯过程可以由一个均值函数和一个协方差函数来确定

  • 把无限维的高斯分布，每一维按时间线或者其他量展开，就得到一个高斯分布的曲线啦，这个曲线中的每一个点都对应了一个一维的高斯分布，而每个高斯分布都有一个均值和方差，故高斯过程中每个点对应一个均值和方差，如下图所示

小组会 (118条消息) StrongSORT: Make DeepSORT Great Again_Fwenxuan的博客-CSDN博客

(118条消息) GIAOTracker in VisDrone 2021_visdrone2021数据集_Fwenxuan的博客-CSDN博客

(120条消息) 快速入门高斯过程（Gaussian process）回归预测_高斯过程回归_摸鱼大王二百五的博客-CSDN博客

二、Bot-Sort

没啥可以用的

2023/5/24

NCT:noise-control multi-object tracking

https://github.com/Autoyou/Noise-control-multi-object-tracking

  1. 针对NSA kalman

思考： 1.对于高、低质量的检测结果使用相同的噪声不合理

  1. 自适应噪声会导致KF的预测不稳定 （希望R是变化的 但是又不期望它变得太剧烈）

GIAOTracker[10]提出了NSA卡尔曼滤波器，该滤波器引入置信偏差作为观测噪声尺度变量。然而，自适应观测噪声突变导致卡尔曼增益的突变，这降低了GIAOTracker中卡尔曼滤波器预测的稳定性，并导致卡尔曼滤波器的预测不稳定，从而减少了运动信息的获取。如图1的部分（b）所示，自适应观测噪声（Rk）的引入导致原本稳定的卡尔曼增益（K）的大波动，这阻碍了运动信息的获取。

因此，有必要开发一种在引入自适应观测噪声的同时稳定卡尔曼增益的解决方案，以提高卡尔曼滤波器的预测性能。

检测置信度得分受到检测结果的影响，当遇到物体遮挡和复杂的照明条件时，置信度得分会突然变化。

然后，检测置信度得分将发生变化。置信度得分和等式中先前的常数矩阵的简单乘积。（2）导致~Rk中的突变，这将导致严重的连锁反应。

方案： 将 SG Kalman平滑增益卡尔曼滤波器应用于检测结果，并将高斯函数与检测置信度相结合，得到平滑自适应观测噪声矩阵。同时，导出平滑增益以获得对象运动信息

2.针对GSI

StrongSORT[11]提出了一种通过高斯过程回归（GPR）算法对非线性运动建模来缓解这一问题的方法。上述插值方法没有考虑地面实况的实际轨迹。与视频帧相关联的对象不会在平滑曲线中移动。轨迹重新连接不适合地面实况。运动轨迹的基本事实是具有运动方向的渐进折线

如图1的（c）部分所示，（the ground truth of the motion trajectory is a progressive fold with the

motion direction ）GT的运动轨迹是随着运动方向的逐渐折叠，目前的插值方法不符合地面实况轨迹趋势

方案： （GBRC）the gradient boosting reconnection context mechanism is designed to reconnect the fragment tracks with trajectory drifting noise to obtain accurate track-ing results

2023/6/5

5.26的大组会整合了之前的mot 又补充了nsa kalman

来自：NCT:noise-control multi-object tracking

Azure1120
关注
  • 3
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SORT目标跟踪算法论文
09-07
SORT论文
CVPR 2012 Papers
daiyuchao的专栏
04-10 1万+
Orals Title Author(s) Micro Phase Shifting Mohit Gupta; Shree Nayar On Multiple Foreground Cosegmentation Gunhee Kim; Eric Xing Face detection, pose estimation, and landmark l
英文高频词
热门推荐
自然语言处理及大数据
09-08 31万+
('rods', 100) ('carbohydrates', 100) ('stresses', 100) ('premiered', 100) ('cyrus', 100) ('drastically', 100) ('eukaryotic', 100) ('witchcraft', 100) ('accompaniment', 100) ('conventionally',
Technical Report
yangjia_cheng的博客
04-06 2301
Technical ReportNumber 574Computer LaboratoryUCAM-CL-TR-574ISSN 1476-2986Sketchpad: A man-machine graphicalcommunication systemIvan Edward SutherlandSeptember 2003New preface by Alan Blackwell andKerr...
多目标跟踪-PaperReding
weixin_45582707的博客
05-10 889
本文旨在构建一个自动驾驶领域多目标跟踪综述以及应用框架沉淀总结，持续跟踪新的研究方法。
YOLOv8+BoT-SORT多目标跟踪(行人车辆计数与越界识别)
08-18
BoT-SORT是发表于2022年的先进的多目标跟踪算法，它结合了运动和外观信息、相机运动补偿和更准确的卡尔曼滤波状态向量，并把这些改进集成到ByteTrack，从而在MOTA、IDF1和HOTA性能指标上超过了ByteTrack，增强了目标跟踪的鲁棒性，比较适用于存在相机运动的场景。YOLOv8代码中已集成了BoT-SORT。本课程使用YOLOv8和BoT-SORT对视频中的行人、车辆做多目标跟踪计数与越界识别，开展YOLOv8目标检测和BoT-SORT多目标跟踪强强联手的应用。课程分别在Windows和Ubuntu系统上做项目演示，并对BoT-SORT原理和代码做详细解读（使用PyCharm单步调试讲解）。课程包括：基础篇、实践篇、原理篇和代码解析篇。Ÿ  基础篇包括多目标跟踪任务介绍、常用数据集和评估指标；Ÿ  实践篇包括Win10和Ubuntu系统上的YOLOv8+BoT-SORT的多目标跟踪计数与越界识别具体的实践操作步骤演示；Ÿ  原理篇中讲解了马氏距离、匈牙利算法、卡尔曼滤波器、SORT、DeepSORT和BoT-SORT多目标跟踪算法的原理，并解读了BoT-SORT论文；Ÿ  代码解析篇中使用PyCharm单步调试对BoT-SORT的代码逐个文件进行讲解。课程提供代码解析文档。相关课程：《YOLOv8+ByteTrack多目标跟踪(行人车辆计数与越界识别)》https://edu.csdn.net/course/detail/38901《YOLOv8+DeepSORT多目标跟踪(行人车辆计数与越界识别)》 https://edu.csdn.net/course/detail/38870《YOLOv5+DeepSORT多目标跟踪与计数精讲》https://edu.csdn.net/course/detail/32669 
【MOT】C-BIoU：Hard to Track Objects with Irregular Motions and Similar Appearances?
WeiY1的博客
01-31 1964
【论文分享】C-BIoU: Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space
C-BIOU tracker多目标跟踪论文笔记
OpenCV 图像辨识的博客
01-14 1104
C-BIou tracker
[论文阅读] BoT-SORT: Robust Associations Multi-Pedestrian Tracking
Geekaka_的博客
07-13 5848
MOT任务上最新屠榜算法——BoT-SORT论文笔记：这篇文章是今年6月底发布的一篇多目标跟踪(MOT)的屠榜方法，命名为BoT-SORT。
deepsort与botsort与strongsort
qq_45711021的博客
06-25 4151
多目标跟踪（Multiple Object Tracking）MOT获取单个连续视频并以特定帧速率 (fps) 将其拆分为离散帧以输出。检测每帧中存在哪些对象标注对象在每一帧中的位置关联不同帧中的对象是属于同一个对象还是属于不同对象ByteTrack算法是一种基于目标检测的追踪算法，和其他非ReID的算法一样，仅仅使用目标追踪所得到的bbox进行追踪。追踪算法使用了卡尔曼滤波预测边界框，然后使用匈牙利算法进行目标和轨迹间的匹配。ByteTrack算法的最大创新点就是对低分框的使用。
DEEP SORT目标跟踪算法论文
09-07
DEEP SORT目标跟踪算法论文
论文研究-Apriori-sort算法研究.pdf
09-11
Apriori-sort算法是在Apriori算法基础上的改进，基本思想是把事务数据库变为以度表示的事务度数据库，并对事务度数据库进行排序。Apriori-sort算法查找频繁项集时，只扫描数据库Dd中满足d（Ck）≦d（Ti）的事务。对...
sort命令 排序文件并输出
01-09
sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。sort命令既可以从特定的文件，也可以从stdin中获取输入。 语法格式：sort [参数] [文件] 常用参数： -b 忽略每行前面开始出的空格字符...
heap-sort code
最新发布
03-05
heap-sort code
计算机视觉论文笔记
qq_42826747的博客
10-14 1970
写在前面 最近一年已经从java后台的开发岗走向了算法岗，主要是跟随着导师进行计算机视觉方面的研究，我是使用notion来记录我的学习笔记，接下来我会陆续把自己学习过程中看到的知识点、论文笔记等发到博客中，如果有哪里出错，欢迎大家指出（实时更新）！ 论文笔记： 一、图像分类 暂无 二、目标识别 暂无 三、图像分割 2.1 传统方法 基于边缘的图像分割方法 基于阈值的图像分割 基于区域的图像分割 2.2 语义分割 FCN（Fully Convolutional Networks for Semantic
近期关于Sort和DeepSort改进的工作
藏晖的博客
03-30 7694
本文总结近期三篇对Sort和DeepSort改进的工作，Sort和DeepSort以及JDE的推理流程可以参考之前的文章：Sort和Deepsort原理解析及在JDE和Fairmot中的应用 一、ByteTrack: Multi-Object Tracking by Associating Every Detection Box 论文链接：https://arxiv.org/pdf/2110.06864.pdf Github：https://github.com/ifzhang/ByteTrack 1、Mo
多目标跟踪DeepSort
shuijinghua的博客
02-20 4948
先引入多目标跟踪DeepSort的论文地址及代码链接（Python版）： 论文地址：https://arxiv.org/pdf/1703.07402.pdf 代码链接：https://github.com/nwojke/deep_sort SORT是一种实用的多目标跟踪算法，然而由于现实中目标运动多变且遮挡频繁，该算法的身份转换（Identity switches)次数较高。DEEPSORT...
[论文阅读笔记13]Observation-Centric SORT(OCSORT)论文中的公式推导
wjpwjpwjp0831的博客
05-15 7028
这篇文章是我很喜欢的一篇文章, 尝试用更本质的方法优化Kalman滤波. 1. 概述 这篇文章解决的主要问题是，现有的方法对运动预测都是基于线性运动假设，对非线性运动、遮挡、低帧率视频就没有好的处理效果。 作者说SORT有三个缺点： 帧率很高的情况，目标位移的噪声可能就和位移大小本身差不多（因为位移会很小），这样Kalman的方差会很大。 由于遮挡等原因，如果没有新的轨迹和检测匹配，那目标的噪声可能会积累。证明了误差积累关于时间是平方关系。 Kalman主要依赖于状态估计，把观测只作为辅助信息。作者认.
BoT-SORT实战：手把手教你实现BoT-SORT训练和测试
AI浩
09-20 8830
BoT-SORT是今年非常游戏的跟踪器模型。就所有主要 MOT 指标MOTA、IDF1 和 HOTA而言，BoT-SORT 和 BoT-SORT-ReID 在 MOT17 和 MOT20 测试集的 MOTChallenge数据集中排名第一。对于 MOT17：实现了 80.5 MOTA、80.2 IDF1 和 65.0 HOTA，在跟踪器的排行榜上暂居第一。论文翻译：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/126890651。
sort
06-01
sort是一个常见的排序函数，它可以对数组或容器中的元素进行排序。在C++中，sort函数位于头文件<algorithm>中。sort函数有多个重载版本，其中最常用的版本接受两个迭代器作为参数，用于指定排序的范围。例如，可以使用以下代码对一个vector进行从小到大的排序： ``` #include <algorithm> #include <vector> int main() { std::vector<int> v = {3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 5}; std::sort(v.begin(), v.end()); return 0; } ``` 在上面的代码中，sort函数会对v中的所有元素进行排序，使其按照从小到大的顺序排列。注意，sort函数的时间复杂度一般为O(nlogn)，其中n是待排序的元素个数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值