【计算机视觉】CV实战项目- CMU目标检测与跟踪系统 Object Detection & Tracking for Surveillance Video

1. 项目概述

该项目由 CMU（卡内基梅隆大学） 团队开发，专注于 监控视频中的目标检测与跟踪，并应用于 活动检测（Activity Detection）。系统在 IARPA DIVA 项目 的 ActEv 评测 中取得 最佳性能，支持多目标（如行人、车辆）的实时检测、跨摄像头跟踪（Multi-Camera Tracking）和重识别（ReID）。

核心功能：

• 高精度目标检测：基于 Faster R-CNN、ResNet-101 + FPN 等模型，针对监控场景优化。
• 多目标跟踪（MOT）：集成 Deep SORT、TMOT（实时多目标跟踪算法）等。
• 跨摄像头 ReID：支持行人/车辆的跨摄像头重识别。
• 高效推理优化：多线程、批量处理（Batch Inference）、TensorRT 加速等。

---

2. 技术亮点

（1）目标检测模型

• 主干网络：ResNet-101 + FPN（特征金字塔）、Dilated CNN（扩大感受野）、Squeeze-Excitation 模块（试验性）。
• 模型变体：
  • v1-v6 模型：针对 ActEv 数据集优化，v5 模型在验证集上达到 98.1% AP（车辆类 98.8% AP）。
  • COCO 预训练模型：适用于室内场景（如 MEVA 数据集）。
  • EfficientDet：支持轻量化部署（如 D0 模型）。
• 性能对比：
  • ActEv 数据集中，车辆检测 AP 达 98.4%，行人检测 AP 达 83.6%。

（2）多目标跟踪（MOT）

• Deep SORT：基于检测框和外观特征的卡尔曼滤波跟踪。
• TMOT（Towards-Realtime-MOT）：更高效的实时跟踪算法，减少 ID 切换（10-20% 提升）。
• 跨摄像头跟踪：结合空间约束（相机标定）和 ReID 特征匹配。

（3）重识别（ReID）

• 行人 ReID：使用 OSNet 模型（Market-1501 数据集训练）。
• 车辆 ReID：基于 AI City Challenge 2020 冠军模型。

（4）性能优化

• 多线程推理：CPU-GPU 并行，提升 20-30% 速度。
• 批量处理（Batch Inference）：支持单批次多图像输入，提速 30%。
• TensorRT 加速：通过冻结模型（Frozen Graph）优化推理速度。

---

3. 数据集与模型

（1）支持的数据集

• ActEv：监控视频中的行人、车辆、物体交互（如“推拉物体”）。
• MEVA：多摄像头室内外场景（需转换 AVI 为 MP4 格式避免 OpenCV 帧读取问题）。
• COCO：通用目标检测（适用于室内场景）。

（2）预训练模型

模型版本	特点	下载链接
v3 (推荐)	ResNet-101 + Dilated CNN	obj_v3_model.tgz
EfficientDet-D0	轻量化模型（CVPR 2020）	官方仓库
COCO-ResNet50	适用于室内场景	Frozen Graph

---

4. 快速开始

（1）安装依赖

# 基础环境
pip install tensorflow-gpu==1.15 numpy scipy sklearn opencv-python matplotlib pycocotools

（2）运行目标检测 + 跟踪

# 下载测试视频和模型
wget https://precognition.team/shares/diva_obj_detect_models/v1-val_testvideos.tgz
wget https://precognition.team/shares/diva_obj_detect_models/models/obj_v3_model.tgz

# 运行检测与跟踪（Deep SORT）
python obj_detect_tracking.py \
  --model_path obj_v3_model \
  --video_dir v1-val_testvideos \
  --get_tracking \
  --tracking_dir output_tracks

（3）可视化结果

# 生成跟踪可视化视频
python vis_json.py \
  v1-val_testvideos.abs.lst \
  v1-val_testvideos_frames/ \
  output_tracks/ \
  output_vis/

---

5. 实际应用案例

• 监控安防：实时检测异常行为（如遗留物体、人员聚集）。
• 交通管理：跨摄像头车辆跟踪与流量统计。
• 智慧零售：顾客行为分析（如拿取商品）。

---

6. 项目优势

1. 高性能：ActEv 评测排名第一，车辆检测 AP 超 98%。
2. 模块化设计：支持灵活替换检测/跟踪/ReID 模块。
3. 工程优化：多线程、批量处理、TensorRT 加速。
4. 跨平台：支持 Python 2/3 和 TensorFlow 1.x。

---

7. 未来计划

• 支持 YOLOv5 等更轻量模型。
• 增加端到端活动检测（Activity Detection）管道。
• 优化多摄像头系统的实时性能。

---

8. 致谢

• 基于 Tensorpack Faster R-CNN 和 EfficientDet 实现。
• 数据支持：IARPA DIVA、MEVA、ActEv。