【算法分析】SORT/Deep SORT 物体跟踪算法解析

最新推荐文章于 2025-03-22 00:26:37 发布
最新推荐文章于 2025-03-22 00:26:37 发布
阅读量5.6w 收藏 649
点赞数 121
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaoBBNuanMM/article/details/85555547
版权

目录

SORT - SIMPLE ONLINE AND REALTIME TRACKING

概述

解析SORT算法代码

SORT算法的优缺点

Deep SORT - SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC

关联度量(ASSOCIATION METRIC)

关联算法 Matching Cascade

SORT - SIMPLE ONLINE AND REALTIME TRACKING

 

概述

SORT算法示意2

SORT跟踪算法到底在干什么？（以单目标跟踪为例说明如下）

  • 假设T1时刻成功跟踪了某个单个物体，ID为1，绘制物体跟踪BBox（紫色）
  • T2时刻物体检测BBox总共有4个（黑色），预测T2时刻物体跟踪的BBox（紫色）有1个，解决紫色物体跟踪BBox如何与黑色物体检测BBox关联的算法，就是SORT物体跟踪算法要解决的核心问题
  • SORT关联两个BBox的核心算法是：用IOU计算Bbox之间的距离 + 匈牙利算法选择最优关联结果
SORT算法示意2

物体跟踪与物体检测是两件不同的事

物体跟踪是把物体跟踪预测的BBox与物体检测的BBox关联，然后用对应的物体检测BBox代表成功跟踪的BBox结果

以上图为例

  • T1时刻已经成功跟踪了3个检体(不同颜色的BBox代表不同的物体ID)
  • T2时刻除了所有物体检测的新位置BBox（灰色），还要物体跟踪预测的Bbox（非灰的其它不同颜色BBox）与物体检测Bbox（灰色）关联，从而分辨出哪一个物体跟踪的Bbox对应哪一个物体检测的BBox，从而产生T2时刻的物体跟踪BBox结果（包括新增物体跟踪器跟踪T2中新检测到的物体）
  • T3时刻如果被追踪的物体发生了遮挡(红框BBox的物体)，那么要继续能找到该物体并追踪 (避免ID Switch)

物体跟踪有几个主要任务以及它们对应的解决方案

  • 检测-深度学习的各种检测网络来实现物体检测
  • 跟踪预测与关联-Tracking的算法来实现物体追踪(比如 本文介绍的SORT)
  • ID Switch- Tracking的算法来解决遮挡物体(比如 deep SORT)
  • ReID(跨摄像头发现和跟踪同一个物体，避免ID switch) -  比如 deep SORT

解析SORT算法代码

代码分析1
代码分析2
算法图示
代码分析3
代码分析4
代码分析5
代码分析6
代码分析7

SORT算法的优缺点

优点缺点

速度快 

对于物体遮挡几乎没有处理，导致ID switch 次数很高

在没有遮挡的情况下准确度很高

有遮挡的情况下准确度很低

SORT是一个很粗糙的跟踪算法，所以又有了Deep SORT

 

Deep SORT - SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC

 

关联度量(ASSOCIATION METRIC)

  • 计算公式(1) 
  • 马氏距离计算物体检测Bbox dj和物体跟踪BBox yi之间的距离
  • 注：不使用欧式距离的原因是dj和yi 的空间域分布不同，欧式距离忽略空间域分布的计算结果不能准确反映两者的真实距离
  • 当两者距离≤特定阈值，则表示两者关联 
  • 但马氏距离依然不能很好的解决物体被长时间遮挡后关联不正确导致ID Switch的问题
  • 计算公式（2）
  • 物体检测BBox dj 通过CNN网络计算对应的128维feature向量rj 称为appearance descriptor
  • 具体的做法是把物体检测BBox dj  对应的图像patch作为下图的CNN输入，输出128维feature向量rj
Deep Cosine Metric Learning for Person Re-identification

 

  • 对于跟踪器i，为它创建一个集合保留它过去Lk 次成功跟踪后物体检测Bbox对应的Lk 个Feature向量集合，公式（2）是在计算第i个物体跟踪的所有Feature向量和第j个物体检测之间的最小余弦距离（具体含义参考下图）
  • 当两者距离≤特定阈值，则表示两者关联 
    公式(2)的几何解释

    •组合计算公式（1）和（2）作为计算第i个物体跟踪和第j个物体检测之间关联度量的总公式

    •组合距离阈值判断不等式，作为总的判断第i个物体跟踪和第j个物体检测之间的距离（关联度量）是否关联的总公式

  • 关联算法 Matching Cascade

T是物体跟踪集合

D是物体检测集合

  1. C矩阵存放所有物体跟踪i与物体检测j之间距离的计算结果
  2. B矩阵存放所有物体跟踪i与物体检测j之间是否关联的判断(0/1)
  3. 关联集合M初始化为{}
  4. 将找不到匹配的物体检测集合初始化为D
  5. 从刚刚匹配成功的跟踪器循环遍历到最多已经有Amax 次没有匹配的跟踪器
  6. 选择满足条件的跟踪器集合Tn
  7. 根据最小成本算法计算出Tn与物体检测j关联成功产生集合[xi,j]
  8. 更新M为匹配成功的（物体跟踪i，物体检测j） 集合
  9. 从U中去除已经匹配成功的物体检测j
  10. 循环
  11. 返回 M U 两个集合
Python 人工智能实战：物体跟踪
AI天才研究院
11-27 336
1.背景介绍 概述 物体追踪（Object Tracking）是计算机视觉领域中一个重要的任务。它可以用于目标检测、视频分析等多种场景。其基本思路就是根据图像中的特征点位置变化及其他特征，对目标的前后位置进行动态跟踪。目前，主要用到的算法有基于颜色、光流、深度学习的算法。在本文中，我们将以基于颜色的算法——颜色直方图相
多目标跟踪算法 | DeepSort
热门推荐
黎国溥
02-09 5万+
前言 论文名称：（ICIP2017）Single-Simple Online and Realtime Tracking with a Deep Association Metric 论文地址：https://arxiv.org/abs/1703.07402 开源地址：https://github.com/nwojke/deep_sort 一、多目标跟踪的工作流程（常规） (1)给定视频的原始帧； (2)运行对象检测器以获得对象的边界框； (3)对于每个检测到的物体，计算出不同的特征.
SORT和DeepSORT论文阅读理解及代码解析
m0_46339652的博客
05-02 3415
这里写目录标题（序）论文及代码:一.SORT1.预测模型2. 数据关联3.目标丢失的问题二.DeepSORT1.状态估计:2.轨迹处理：3.Assignment Problem4.Motion Metric5.Appearance Metric6.匹配级联7.Deep Appearance Descriptor8.算法总结 （序）论文及代码: SORT论文传送门 SORT代码传送门 DeepSORT论文传送门 DeepSORT代码传送门 一.SORT 1.预测模型 X=[u,v,s,r,u˙,v˙,s˙]T
一种跟踪运动物体算法的实现
07-12
对运动物体的跟踪是序列图像处理的重要一步，它分为二维运动和三维运动的跟踪，主要是确定物体的二维或三维平移、旋转参数并籍此求出物体的运动轨迹及规律。 为分析简单起见，从二维运动着手分析，对二维运动运动进行跟踪的离散方法主要有傅氏变换法、差分方法、匹配法三种。
目标跟踪——deepsort算法详细阐述
weixin_44533869的博客
03-22 1036
记录连续未匹配的帧数（如time_since_update）。若未匹配次数超过阈值（如max_age），轨迹被删除。即使未匹配，算法仍会预测下一帧的位置，以尝试重新匹配。通过卡尔曼滤波预测和匈牙利算法匹配，更新目标轨迹。是新检测到的候选目标，未被任何现有轨迹“认领”。从检测到的目标中提取外观特征（如ReID特征）。筛选低置信度检测并执行非极大值抑制（NMS）。整理跟踪结果为边界框和唯一ID。
CamShift算法,OpenCV实现
seusong的专栏
04-27 1525
 CamShift算法，即"Continuously Apative Mean-Shift"算法，是一种运动跟踪算法。它主要通过视频图像中运动物体的颜色信息来达到跟踪的目的。我把这个算法分解成三个部分，便于理解：1) Back Projection计算2) Mean Shift算法3) CamShift算法在这里主要讨论Back Projection,在随后的文章中继续讨论后面两个算法。Back
计算机视觉中的物体跟踪：追踪目标的关键技术
AI天才研究院
01-05 1322
1.背景介绍 计算机视觉(Computer Vision)是一门研究如何让计算机理解和解析图像和视频的科学。物体跟踪(Object Tracking)是计算机视觉中的一个重要任务，它涉及到在视频序列中跟踪目标的过程。物体跟踪可以用于许多应用，例如人脸识别、自动驾驶、视频分析等。 物体跟踪的主要目标是在视频序列中跟踪目标物体的位置和状态。这个过程包括两个主要步骤：首先，在视频序列中检测目标物体；...
STL sort学习笔记
fisher_jiang的专栏
11-16 4522
1 所有sort算法介绍 所有的sort算法的参数都需要输入一个范围，[begin, end)。这里使用的迭代器(iterator)都需是随机迭代器(RadomAccessIterator), 也就是说可以随机访问的迭代器，如：it+n什么的。（partition 和stable_partition 除外） 如果你需要自己定义比较函数，你可以把你定义好的仿函数(functor)作为参数传入。
【论文解读】Sort、Deep-Sort多目标跟踪算法
黎国溥
08-27 3919
前言 基于视觉的目标跟踪在智能监控、动作与行为分析、自动驾驶等领域都有重要的应用。例如，在自动驾驶系统中，目标跟踪算法要对运动的车、行人、其他物体的运动进行跟踪，对它们的未来的位置、速度等信息作出预测。 多目标跟踪，Multiple Object Tracking，并不是简单的多个单目标跟踪，因为它不仅涉及到各个目标的持续跟踪，还涉及到不同目标之间的身份识别、自遮挡和互遮挡的处理，以及跟踪和检测结果的数据关联等。 Sort算法 Sort算法，是一种简单的在线实时多目标跟踪算法。它以“每个检测”与
使用YOLOv9+DeepSort实现的目标跟踪算法python源码.zip
05-15
使用YOLOv9+DeepSort实现的目标跟踪算法python源码.zip使用YOLOv9+DeepSort实现的目标跟踪算法python源码.zip使用YOLOv9+DeepSort实现的目标跟踪算法python源码.zip使用YOLOv9+DeepSort实现的目标跟踪算法python源码...
目标跟踪-基于YOLO11+deepsort实现的目标跟踪算法-附项目源码+流程教程-优质项目实战.zip
最新发布
03-29
目标跟踪_基于YOLO11+deepsort实现的目标跟踪算法_附项目源码+流程教程_优质项目实战
移动跟踪-基于YOLOv10+DeepSort实现视频中移动目标跟踪算法-附项目源码+流程教程-优质项目实战.zip
06-07
总的来说，这个"移动跟踪-基于YOLOv10+DeepSort实现视频中移动目标跟踪算法"项目是学习和提升计算机视觉技能的理想平台。它不仅涵盖了先进的目标检测和跟踪技术，还提供了丰富的实践资料，对于想要深入理解和应用...
转：运动物体跟踪的camshift算法
zippo的专栏
04-22 8245
转至：http://blog.csdn.net/lindazhou2005/archive/2007/03/19/1534234.aspx CamShift算法简介CamShift算法，即"Continuously Apative Mean-Shift"算法，是一种运动跟踪算法。它主要通过视频图像中运动物体的颜色信息来达到跟踪的目的。我把这个算法分解成三个部分，便于理解： Back P
DeepSort目标跟踪算法
pengxiang1998的博客
12-05 8339
DeepSort目标跟踪算法是在Sort算法基础上改进的。 Sort算法的核心便是卡尔曼滤波与匈牙利匹配算法 卡尔曼滤波是一种通过运动特征来预测目标运动轨迹的算法 其核心为五个公式，包含两个过程： 其分为先验估计（预测） 其中Xt-表示预测的位置状态，包含位置速度等信息，F为状态转移矩阵，描述前一帧如何影响该帧，ut-1为控制量，可认为是加速度B为控制矩阵，表示如何控制ut-1作用于当前状态。P-为当前帧的预测协方差矩阵，是描述变化关系的，要知道，变量之间是有联系而非独立的，比
对象跟踪小白？本文带你玩转OpenCV（C ++ / Python）
weixin_33887443的博客
02-24 456
作者介绍：Satya Mallick，擅长领域为计算机视觉，机器学习，人工智能。 Linkdin：https://www.linkedin.com/in/satyamallick/zh-cn 在本教程中，我们将了解OpenCV 3.0中引入的OpenCV跟踪API。 我们将学习如何以及何时使用OpenCV 3.2中提供的6种不同的跟踪器-...
【原理&代码详解】DeepSORT算法：多目标跟踪的深度学习解决方案
牧子川的博客
05-13 1万+
匈牙利算法是一种用于解决分配问题的有效算法。在DeepSORT算法中，匈牙利算法被用于解决数据关联问题，即如何将当前帧中检测到的目标（detections）与上一帧中跟踪的目标（tracks）进行匹配。DeepSORT通过计算检测框和跟踪框之间的相似度，构建一个代价矩阵，然后利用匈牙利算法找到最小化代价的匹配方案。初始化：当视频的第一帧被检测时，每个检测到的目标初始化一个跟踪轨迹。匹配。
物体跟踪：基于Sort/Deep Sort的物体跟踪解析
qq_35896136的博客
04-18 1332
目录 SORT - SIMPLE ONLINE AND REALTIME TRACKING 概述 解析SORT算法代码 SORT算法的优缺点 Deep SORT - SIM...
DeepSORT多目标跟踪——算法流程与源码解析
知来者逆的博客
11-04 7461
DeepSORT的前身是SORT算法，SORT算法是由目标检测器以及跟踪器所构成，其跟踪器的核心是卡尔曼滤波算法和匈牙利算法。利用卡尔曼滤波算法预测检测框在下一帧的状态，将该状态与下一帧的检测结果利用匈牙利算法进行匹配，实现追踪。一旦物体受到遮挡或者其他原因没有被检测到，卡尔曼滤波预测的状态信息将无法和检测结果进行匹配，该追踪片段将会提前结束。
deepsort追踪算法
01-14
### DeepSort 跟踪算法实现与解释 #### 3.1 概述 DeepSort 是一种用于多目标跟踪的强大算法，它结合了深度学习特征提取和卡尔曼滤波器来提高跟踪性能。该方法不仅考虑物体检测框的位置信息，还利用外观特征来进行更稳定的长期跟踪。 #### 3.2 卡尔曼滤波器 为了预测对象的状态并减少噪声影响，DeepSort 使用线性动力学模型下的卡尔曼滤波器估计目标位置。通过状态向量表示目标的位置和速度，并基于此构建观测矩阵 H 和转移矩阵 F 来更新预测值[^1]。 ```python import numpy as np from filterpy.kalman import KalmanFilter def init_kf(): kf = KalmanFilter(dim_x=7, dim_z=4) # 初始化参数... return kf ``` #### 3.3 特征提取网络 对于每个检测到的对象，使用预训练好的卷积神经网络 (CNN) 提取其视觉特征。这些特征被用来计算不同帧间相似度得分，从而帮助解决遮挡等问题带来的挑战。通常采用 ResNet 或 MobileNet 这样的架构作为骨干网[^2]。 ```python import torch from torchvision.models.resnet import resnet50 class FeatureExtractor(nn.Module): def __init__(self): super().__init__() self.backbone = resnet50(pretrained=True) def forward(self, x): features = self.backbone(x) return features ``` #### 3.4 关联策略 当有多个候选匹配时，DeepSort 利用匈牙利算法最小化代价函数 C(i,j)，其中 i 表示当前帧中的检测结果索引，j 对应于前一时刻已知轨迹 ID。成本由马氏距离（Mahalanobis Distance）以及余弦相似度共同决定： \[C_{ij}=\alpha d_M(\hat{x}_i,x_j)+(1-\alpha)c_f(f_i,f_j)\] 这里 \(d_M\) 表达的是 Mahalanobis distance；\(c_f\) 计算两个特征向量之间的 cosine similarity；\(\alpha \in [0,1]\) 控制两者权重比例[^3]。 #### 3.5 实现流程总结 - **初始化**: 创建一组空闲轨迹池； - **处理每一帧图像**: - 获取所有检测边界框及其对应的 CNN 特征； - 更新现有轨迹的卡尔曼滤波器预测； - 应用关联逻辑分配新的或现有的轨迹给各个检测； - 如果某个轨迹长时间未更新，则将其标记为丢失； 最终输出每帧中所有活动轨迹的信息列表。
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值