多目标实时跟踪DeepSORT算法使用的学习记录(nwojke/deep_sort)

已于 2023-03-03 11:29:07 修改
阅读量1.6k 收藏 14
点赞数
分类专栏： 机器学习 文章标签： python 深度学习
于 2022-09-26 17:08:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fmy_xfk/article/details/127022372
版权

这是一篇如何使用DeepSORT的学习记录，依据https://github.com/nwojke/deep_sort的内容写出。注意这不是deep_sort_pytorch或deep_sort_yolov3的这2个git仓库介绍，也不是DeepSORT的实现原理介绍。这篇文章面向和笔者一样从未接触过相关内容，只是想看一看这些较新算法的效果和使用方法的人。或者说，这篇文章更像“操作指南”。

1.环境配置

1.1 建议使用VirtualEnv

笔者在依据原作者教程使用DeepSORT算法时，遇到了与环境配置有关的诸多问题。譬如，已经安装的package的版本和所需版本不同，且没有向下兼容。因此，使用VirtualEnv管理不同版本的包会比较方便。（当然，Conda也是可以的，而且可能效果更好。）

如果你不想使用虚拟环境，而是使用各个pip包的最新版本，请直接看1.3节的相关说明。

1.2 VirtualEnv安装与使用

Windows用户请用管理员身份允许命令提示符或者Powershell，Linux用户请自行添加sudo或者以root用户运行，必要时将pip换成pip3。

由于DeepSORT的依赖库版本较旧（如必须安装旧版Scikit-learn），所需Python版本也较旧。可以在下列网址下载旧版Python：https://www.python.org/downloads/windows/。这里我们使用Python 3.6版本。如果您安装了更新的版本，并不需要卸载，另找一个地方安装即可。

如果你的设备连接官方pip源下载较慢，可以考虑更换源，例如换成国内的清华源：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装VirtualEnv：

pip install virtualenv

到您希望创建虚拟环境的文件夹下，输入virtualenv [-p <使用Python的路径>] <环境名>，例如：

virtualenv -p D:\Python36\Python.exe deepsort

上述命令假定将Python 3.6版本安装在了D:\Python36文件夹，并创建一个名为deepsort的虚拟环境。

为了进入虚拟环境，我们需要输入下列命令：

cd deepsort\Scripts
activate

其中，deepsort是刚刚创建的环境名称，请换成您实际使用的名称。

此时，命令行最前面出现了(deepsort)字样，表明我们已经进入了虚拟环境。

输入pip list指令，可以看到该虚拟环境中只有最基本的3个包：
Description
环境内的包安装、卸载使用正常的pip命令即可。

为了退出环境，在Scripts文件夹下输入deactivate即可，此时命令行最前面的(deepsort)字样消失，表明退出虚拟环境。

1.3 安装依赖包

原作者使用了NumPy，Sklearn、OpenCV和Tensorflow等包。推荐使用如下命令以安装指定版本：

pip install numpy==1.19.5
pip install opencv-python
pip install scipy
pip install scikit-learn==0.19.2
pip install matplotlib
pip install tensorflow==1.15

scikit-learn此处安装0.19.2，参考自这里。

兼容性问题说明

NumPy

（可选修改）需要将代码中的np.int更换为int。

Scikit-learn

（必须修改）使用Scikit-learn(版本>=0.23)时，由于sklearn.utils.linear_assignment_模块弃用，需要使用 scipy.optimize.linear_sum_assignment替代，并适当调整代码。需要修改deep_sort\linear_assignment.py：

#第4行附近
#from sklearn.utils.linear_assignment_ import linear_assignment
from scipy.optimize import linear_sum_assignment as linear_assignment 

#第59行附近
#indices = linear_assignment(cost_matrix)
indices = np.array(linear_assignment(cost_matrix)).transpose()
Tensorflow

（必须修改）使用Tensorflow 2时（Tensorflow 1系列不受影响），需要额外安装tf_slim，并修改如下代码，才能正常使用freeze_model.py和generate_detections.py：

#tools/freeze_model.py：第3,4行附近
#import tensorflow as tf
#import tensorflow.contrib.slim as slim
import tf_slim as slim
import tensorflow.compat.v1 as tf

#tools/generate_detections.py：第7行附近
#import tensorflow as tf
import tensorflow.compat.v1 as tf

#第80,81行附近，参考自https://github.com/nwojke/deep_sort/issues/217
#self.input_var = tf.get_default_graph().get_tensor_by_name("net/%s:0" % input_name)
#self.output_var = tf.get_default_graph().get_tensor_by_name("net/%s:0" % output_name)
self.input_var = tf.get_default_graph().get_tensor_by_name("%s:0" % input_name)
self.output_var = tf.get_default_graph().get_tensor_by_name("%s:0" % output_name)

1.4 配置DeepSORT环境

如果您安装了git，您可以使用下列命令获取DeepSORT源码：

git clone https://github.com/nwojke/deep_sort.git
cd deep_sort

Github访问困难时，可选择gitee替代：

git clone https://gitee.com/godycc/deep_sort
cd deep_sort

如果您没有安装git，可以直接在https://github.com/nwojke/deep_sort或https://gitee.com/godycc/deep_sort下载源码并解压。

接下来，我们需要下载预生成的detections和checkpoint文件：链接
考虑到下载困难，这里提供两个备用链接：

百度网盘：链接，提取码：8dwh

我们还需要下载多目标跟踪检测数据集（MOT Benchmark）中的MOT16数据集：链接

如果直接下载有困难，也可使用如下备用链接：

百度网盘：链接，提取码：782p

下载后解压，您应该保持如下的文件夹结构：
文件夹结构

2 DeepSORT实践

2.1 快速体验

我们之前下载好的文件包含了DeepSORT使用的模型(networks文件夹)，MOT数据集的目标检测结果(detections文件夹)，而deep_sort_app.py模块可以标记各个目标并跟踪它们的运动。

输入python deep_sort_app.py -h可以查看使用方法和各种选项，以下是原作者给出的一个跟踪器运行示例。该示例运行了MOT16-06数据集的多目标跟踪的结果。

python deep_sort_app.py --sequence_dir=./MOT16/test/MOT16-06 --detection_file=./resources/detections/MOT16_POI_test/MOT16-06.npy --min_confidence=0.3 --nn_budget=100 --display=True

接下来您会看到一个动画窗口，显示跟踪效果：
抽帧示例

2.2 自己生成detections

上一节我们使用了原作者预先生成好的detections文件直接进行跟踪。在这一节中，我们将继续使用MOT16数据集，但是自行目标检测并生成detections文件。（此时你已经可以删除原有的detections文件夹了。当然也可以不删除，毕竟没有必要。）

输入以下命令，你将使用原作者提供mars-small128.pb描述的模型，对./MOT16/test路径中所有的图片序列进行目标检测，并将检测结果以npy文件形式存储到./resources/detections/MOT16_train路径中：

python tools/generate_detections.py --model=resources/networks/mars-small128.pb --mot_dir=./MOT16/test --output_dir=./resources/detections/MOT16_test

这一步的时间会较长，需要耐心等待。

上述npy文件中存储了每一帧中的目标特征，以便deep_sort_app.py确定不同帧中某目标是同一个物体运动产生的。文件的具体格式请参见原作者的Github仓库。

这一次我们使用MOT16-01数据集。运行下列命令，可以看到和上一节类似的效果：

python deep_sort_app.py --sequence_dir=./MOT16/test/MOT16-01 --detection_file=./resources/detections/MOT16_test/MOT16-01.npy --min_confidence=0.3 --nn_budget=100 --display=True

效果2

fmy_xfk
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Yolov5+Deepsort多目标追踪，支持显示目标类别
梁瑛平的博客
05-31 7131
Yolov5+Deepsort多目标追踪，支持显示目标类别本文禁止转载!项目简介：代码地址（欢迎star）：YOLOv5检测器：DeepSort追踪器：运行demo：训练自己的模型：调用接口：创建检测器：调用检测接口：联系作者： 本文禁止转载! 支持显示目标类别和yolov5 5.0版本 项目简介： 使用YOLOv5+Deepsort实现车辆行人追踪和计数，代码封装成一个Detector类，更容易嵌入到自己的项目中。 代码地址（欢迎star）： https://github.com/Sharpiless/y
deep_sort_pytorch:使用Deepsort和yolov3与pytorch进行MOT跟踪
04-28
使用PyTorch进行深度排序 更新（1-1-2020） 变化 修正错误 重构代码 通过在gpu上添加nms来进行准确检测 最新更新（07-22） 变化 错误修复（感谢@ JieChen91和@ yingsen1进行错误报告）。 使用批处理为每个帧提取特征，这会导致速度提速。 代码改进。 进一步的改进方向 在特定数据集而不是官方数据集上训练检测器。 在pedestrain数据集上重新训练REID模型以获得更好的性能。 将YOLOv3检测器替换为高级检测器。 欢迎对此存储库做出任何贡献！ 介绍 这是MOT跟踪算法深度排序的一种实现。 深度排序与排序基本相同，但深度CNN模型添加了CNN模型以提取受检测器限制的人体部位图像中的特征。 这个CNN模型确实是一个RE-ID模型， 使用的检测器是FasterRCNN，原始源代码是 。 但是，在原始代码中，CNN模型是使用tensorf
关于目标跟踪算法：DeepSort的环境部署
weixin_43608857的博客
03-09 599
关于目标跟踪算法：DeepSort的环境部署
太实用了! 20分钟彻底学会【Deepsort】学习与部署
最新发布
Leeniux
03-22 428
将目标检测和目标跟踪两个任务相结合。首先使用目标检测算法，在每一帧中检测出目标物体的位置和边界框。然后，通过深度学习模型（如CNN）提取目标的特征表示，将每个目标与先前帧中已跟踪的目标进行匹配。匹配过程中会考虑目标的特征相似度、运动一致性等因素，以确定目标的身份和轨迹。DeepSORT使用了一个强大的外观特征描述符ReID，可以准确地区分不同目标之间的相似度。还通过处理目标的消失和重新出现等复杂情况，实现了对长期跟踪的支持。
从头开始创建deepsort环境并运行和训练deepsort
qq_45711021的博客
10-16 1522
我所使用的deep sort不是别人改完的，而是deepsort论文作者nowjke的代码，在未完成这个文章之前我几乎没有在各大网站上看到过有关这个代码的任何教程，在学习期间也遇到了很多的很难，在学习目标追踪的道路上我认为需要这篇文章的解读，下面我将从一个刚接触过这篇文章的角度来过一下这个代码。只有我们的--model参数需要提供，这里我使用的是作者提供的mars-small128.pb为预备训练的权重。我的python为3.6，系统型别为64位，我下载的名称为。二 环境创建好后，开始进行目标追踪。
多目标跟踪：SORT和Deep SORT
zhuiqiuk的专栏
03-18 2万+
https://zhuanlan.zhihu.com/p/59148865 多目标跟踪，即Multiple Object Tracking(MOT)，主要任务中是给定一个图像序列，找到图像序列中运动的物体，并将不同帧的运动物体进行识别，也就是给定一个确定准确的id，当然这些物体可以是任意的，如行人、车辆、各种动物等等，而最多的研究是行人跟踪，由于人是一个非刚体的目标，且实际应用中行人检测跟踪更具...
代码运行方法deep sort: 运行解读
计算机视觉
11-09 8084
有问题可以在这个群里沟通：712790258 Deep SORT https://github.com/nwojke/deep_sort #这个是代码网址 切记１：一定要下载下图1.9g的，这里面是一套图片，不要想当然的用视频 切忌２： 以此链接（https://blog.csdn.net/zjc910997316/article/details/84068857） ...
deep_sort 多目标跟踪算法 使用过程记录
q742971636的博客
06-04 751
代码 https://github.com/nwojke/deep_sort 环境 conda create -n py36_deepsort python=3.6 conda activate py36_deepsort pip install tensorflow=1.5.0 pip install scikit-learn==0.20 pip install opencv-python==4.0.0.21 工程 已经将 链接：https://pan.baidu.com/s/1kbm0EJIud-
YOLOv5+DeepSort实现目标跟踪
Albert_yeager的博客
03-14 2万+
本文将展示如何将YOLOv5和DeepSort相结合，实现目标跟踪计数等功能。
12.1日志记录
weixin_43701585的博客
12-07 137
有关deepsort和检测算法的结合。在网上的游历过程。 1.centernet检测算法综述 2.论文 12.4——deepsort目标追踪代码及其原理解析 MOTchallenge16 提供总计14个视频序列，其中7个用于训练，7个用于测试，均为在非约束环境中的静止或移动相机，跟踪结果已经在数据中给出，因此在训练时不需要解决行人检测的问题，只需要进行跟踪。 下载官方要求的数据/resources/detections/MOT16_POI_test/MOT16-06.npy 打开谷歌drive后，会发.
DeepSORT算法代码解析(全)
04-27 3513
以上就是Deep SORT算法代码部分的解析，核心在于类图和流程图，理解Deep SORT实现的过程。如果第一次接触到多目标跟踪算法领域的，可以到知乎上看这篇文章以及其系列，对新手非常友好： https://zhuanlan.zhihu.com/p/62827974笔者也收集了一些多目标跟踪领域中认可度比较高、常见的库，在这里分享给大家：SORT官方代码： https://github.com/abewley/sort。
基于YOLOV5-7.0+DeepSort的目标追踪算法
10-30
DeepSORT是一种强大的多目标跟踪算法，结合YOLOv5 7.0版本的目标检测能力，可以实现高效准确的实时目标跟踪。 基于 YOLOV5 和 DeepSort 的目标追踪算法是一种结合了目标检测和运动预测的方法，用于在视频中实现多...
Yolov5_DeepSort_Pytorch:使用YOLO v5和深度排序的实时多人跟踪器
05-10
使用深度关联指标进行简单的在线和实时跟踪 YOLOv4：物体检测的最佳速度和准确性 要求 安装了所有requirements.txt依赖关系的Python 3.8或更高版本，包括torch> = 1.7。 要安装运行： pip install -U -r ...
目标跟踪-使用YOLOv9+DeepSort实现的目标跟踪算法-优质算法项目实战.zip
03-15
目标跟踪_使用YOLOv9+DeepSort实现的目标跟踪算法_优质算法项目实战
目标跟踪算法-使用yolov7+deepsort开发的多目标跟踪算法-训练+推理+项目源码+教程.zip
01-26
算法 目标跟踪算法_使用yolov7+deepsort开发的多目标跟踪算法_训练+推理+项目源码+教程
多目标跟踪-使用yolox+deepsort开发的多目标跟踪算法项目-优质项目实战-附完整流程教程.zip
01-20
多目标跟踪_使用yolox+deepsort开发的多目标跟踪算法项目_优质项目实战_附完整流程教程
跟踪算法-Deep sort简介
qq_44936246的博客
10-15 1万+
目录跟踪的基本思想跟踪框与检测框卡尔曼滤波算法---预测匈牙利算法----匹配 对于目标跟踪，前提是能够对单张图片中的车辆进行检测，从而知道图片中车辆的位置，根据连续的图像中目标位置的轨迹预测，从而来实现跟踪。 跟踪的基本思想 如下图所示，设T1和T2是视频中连续的两帧图像， 如要在T2帧中跟踪T1中的红色框中的车辆，首先，在T2中进行车辆检测，检测到了三辆车，如黄色框所示；然后需要解决的问题是，要在T1中红色框和T2中黄色框之间建立关联，根据关联关系，确定T2中检测到的车哪辆是T1中的跟踪结果，并用该检测
多目标跟踪算法 | DeepSort
热门推荐
黎国溥
02-09 3万+
前言 论文名称：（ICIP2017）Single-Simple Online and Realtime Tracking with a Deep Association Metric 论文地址：https://arxiv.org/abs/1703.07402 开源地址：https://github.com/nwojke/deep_sort 一、多目标跟踪的工作流程（常规） (1)给定视频的原始帧； (2)运行对象检测器以获得对象的边界框； (3)对于每个检测到的物体，计算出不同的特征.
超轻量的deepsort目标跟踪源码分享
小菜的博客
05-13 4354
DeepSORT多目标跟踪算法
11-27
DeepSORT是一种基于卡尔曼滤波和深度学习特征提取相结合的多目标跟踪算法。它通过使用卷积神经网络（CNN）从目标的外观中提取特征，然后使用卡尔曼滤波对目标的位置进行预测和更新，从而实现高效、准确和稳定的多目标跟踪。DeepSORT算法的主要优点是可以在复杂的场景中实现高效的多目标跟踪，并且可以处理遮挡、尺度变化和外观变化等问题。它在各种实际场景中都有广泛的应用，例如视频监控、智能交通、机器人导航等领域。 以下是DeepSORT算法的主要步骤： 1.使用卷积神经网络（CNN）从目标的外观中提取特征。 2.使用卡尔曼滤波对目标的位置进行预测和更新。 3.使用匈牙利算法将当前帧中的检测结果与上一帧中跟踪的目标进行匹配。 4.根据匹配结果更新跟踪器的状态和特征。 5.根据跟踪器的状态和特征计算目标之间的相似度，从而实现多目标跟踪。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值