多目标跟踪(MOT/MTT)

18 篇文章 12 订阅
7 篇文章 1 订阅

1. 概述

  • PP-PicoDet与 PP-Yolo速度相当,但精度更高。
  • 在线关联(Online association),根据以下信息进行
    • ReID特征间的余弦距离 (基于人的外观< Person Appearance>)
    • 人体框的IoU
    • 通过Kalman Filter预测的运动位置 (基于运动信息< Motion Information>)

1.1 常用术语

  • FPN:Feature Pyramid Network (特征金字塔)
  • DCN :Deformable Convolution (可变形卷积)
  • SPP:Spatial Pyramid Pooling Layer
  • SOT:Single Object Tracking (单目标跟踪)
  • MTT:Multiple Target Tracking (多目标跟踪)
  • SNN:Siamese Neural Network(连体神经网络: 用于评估外观相似度指标)
  • MOT:Multiple Object Tracking (多目标跟踪)
    • 使用卡尔曼滤波算法对多目标的状态进行估计
    • 使用匈牙利算法对多目标进行匹配,实现多目标跟踪。
  • CBN: Cross-iteration Batch Normalization (交叉迭代批量归一化)
  • PAN:Path Aggregation Network(路径聚合网络)
  • SORT:Simple Online and Realtime Tracking (简单在线和实时跟踪)
  • ReID:Person Re-identification (行人重识别)
  • MTMC:Multi-Target Multi-Camera (跨摄像头多目标跟踪)
  • SDE:Separate Detection Embedding (Detection与Embedding分为两个独立的模型,性能高、实时性差)
  • JDE:Joint Detection Embedding(Detection与Embedding通过同一个网络实现,Detection用的是one-stage的方法)
  • Heatmap:热力图,深度学习中常用Heatmap来表示二维坐标点
    • 编码:将二维坐标点转化为热力图的过程叫做编码(神经网络模型的编码模块)。 常用的编码方法采用高斯分布来生成热力图,以高斯分布的中心点坐标来表示点坐标。
    • 解码:将热力图转化为二维坐标点的过程叫解码(神经网络模型的解码模块)。解码过程通常处理的是非理想热力图,将热力图近似服从高斯分布,当前对热力图的解码方法有:标准法,偏移法和微分法。

1.2 数据集

1.3 网络组件

在这里插入图片描述
在这里插入图片描述

1.4.1 Backbone (骨干网络)

  • 骨干网络负责特征提取,且已在大型数据集(例如ImageNet|COCO等)上完成预训练,拥有预训练参数的卷积神经网络,例如:ResNet-50、Darknet53等
  • Backbone可用以下网络
    • VGG16
    • ResNet-50
    • SpineNet
    • EfficientNet-B0/B7
    • CSPResNeXt50
    • CSPDarknet53

1.4.2 Neck

  • Neck位于Backone和Head之间,用于从不同阶段收集特征图,然后进行融合。
  • 一个Neck由几个自下而上的路径和几个自上而下的路径组成。
  • Neck可用以下网络
    • Additional blocks: SPP, ASPP, RFB SAM
    • Path-aggregation blocks: FPN, PAN, NAS-FPN, Fully-connected FPN, BiFPN, ASFF, SFAM

1.4.3 Head

  • 用于预测目标的种类、位置(bounding boxes)和特征等输出信息
  • 分类:
    • Dense Prediction (one-stage)
      • 基于Anchor:RPN, SSD, YOLO, RetinaNet
      • 无Anchor :CornerNet, CenterNet, MatrixNet, FCOS
    • Sparse Prediction (two-stage)
      • 基于Anchor:Faster R-CNN , R-FCN, Mask RCNN
      • 无Anchor :RepPoints

1.5 移动端模型优化难点

在这里插入图片描述

1.6 轻量级检测模型发展史

在这里插入图片描述

1.7 应用分类及算法

在这里插入图片描述

2. 移动端优化方法

在这里插入图片描述

2.1 优化方法-BackBone选择

在这里插入图片描述

2.2 优化方法-Head优化

在这里插入图片描述

2.3 优化方法-减少输入尺寸

在这里插入图片描述

2.4 优化方法-召回率提升

在这里插入图片描述

2.5 优化方法及效果

在这里插入图片描述

2.6 优化方法-丢弃移动端性价比低的方法

在这里插入图片描述

2.7 优化方法-后训练量化

在这里插入图片描述

2.8 模型压缩

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.9 移动端模型库

在这里插入图片描述

3. PP-PicoDet

3.1 算法结构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2 优化预测精度和速度

在这里插入图片描述

4. 轻量级关键点检测算法

4.1 Top-Down与Bottom-Up对比

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.1.1 Top-Down主流方案

在这里插入图片描述
在这里插入图片描述

4.1.2 Bottom-Up主流方案在这里插入图片描述

在这里插入图片描述

4.2 轻量级关键点算法优化

4.2.1 优化思路

在这里插入图片描述

4.2.2 算法框架

在这里插入图片描述

4.2.3 热力图(Heatmap)处理流程

1)获取待处理的目标图像,将它输入至神经网络模型的编码模块进行编码处理,得到预测热力图
2)将第1)步输出的热力图输入至神经网络模型的解码模块,通过积分求取热力图的均值坐标和坐标偏移量
3)根据第2)步输出的均值坐标和坐标偏移量确定关键点在目标图像上的坐标位置

5. 多目标跟踪(MOT: Multiple Object Tracking)

5.1 简介

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 MOT算法

在这里插入图片描述

5.2.1 SDE算法 (先目标检测再ReID)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2.2 JDE算法(同时进行目标检测和ReID)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2.3 MOT算法选型

在这里插入图片描述

6. 跨镜跟踪

  • 跨镜跟踪:是对同一场景下的不同摄像头拍摄的视频进行多目标跟踪。

6.1 跨镜跟踪产业应用难点

在这里插入图片描述

6.2 跨镜跟踪算法选型

在这里插入图片描述
在这里插入图片描述

6.2.1 目标检测算法选型

在这里插入图片描述

6.2.2 ReID算法选型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.2.3 匹配算法

在这里插入图片描述

6.2.4 轨迹融合

在这里插入图片描述
在这里插入图片描述

6.3 跨镜跟踪整体方案

在这里插入图片描述

  • 9
    点赞
  • 66
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值