本文介绍了一个在TX2设备上进行目标检测和跟踪的项目，采用YOLOv3进行检测，KCF进行跟踪。YOLOv3在TX2上达到5fps，但存在漏检问题；KCF跟踪速度快但容易丢失目标。工作内容包括使用TensorRT优化YOLOv3，训练适应场景的模型，改进KCF的特征提取和多帧融合策略。此外，还探讨了RGBD数据的应用，并指出pytorch实现的YOLOv3与darknet存在差异，需要重新训练以适应移植平台。
目标：检测并跟随目标（人） on TX2
基本方案
嵌入式设备，计算资源有限，对算法的运行时间敏感。
-
detection: YOLOv3(-tiny)
-
tracking: KCF
当前状态
-
YOLOv3在TX2上能跑到5fps，但存在偶尔漏检的情况。YOLOv3使用darknet。
-
KCF虽然非常快，但很容易跟丢，对于目标形变（人的姿态变化）、目标移动较快、目标离开场景等情况，效果较差。KCF使用opencv contrib的实现。
工作内容
Detection
-
使用TensorRT移植YOLOv3，减少检测时间。
-
使用应用场景的数据，训练YOLO。
Tracking
-
改进特征，加入“人体”特征，同时要注意特征计算要很快。
-
多帧融合预测搜索范围。
Detection和Tracking的结合
-
结合的方法，一部分取决于两个算法的精度和速度。越好越快，结合的方式可以越简单。
RGBD
-
获取方法
-
Kinect，已测试
-
ZED, 未测试
-
-
YOLO@RGBD
-
KCF@RGBD
用pytorch实现yolov3模型
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
