多目标跟踪文献阅读笔记

2D目标检测

        难点：目标遮挡、目标尺度跨度大（驾驶场景中）、类内差异大（外观、姿态）

        传统算法：目标特征设计、滑动窗口进行特征提取、分类器结合特征判断当前位置有无目标

       1、特征提取：HOG、SIFT、Haar

        2、分类器：SVM、Adaboost

        可优化点：需要根据目标设计特征、分类器模型容量较低，导致错检、漏检、检测位置不准确现象。

        深度学习算法：以基于卷积神经网络的目标检测算法为主

        基于Anchor的目标检测

                单阶段（SSD、YOLO、RetinaNet）：直接基于特征图预测

                两阶段（RCNN系列）：基于RPN-区域特征提取网络初步预测目标位置和正负性，再对目标进行第二阶段位置回归和类别判别

                同：二者均基于Anchor的对目标位置和尺度做预测和回归

                异：单阶段：速度更快        两阶段：速度较慢，精度更高

        无Anchor的目标检测：CornerNet、CenterNet、ExtremeNet

                直接对目标框的角点回归，无需设计Anchor，训练与测试速度较单阶段网络有所提升

3D目标检测

        基于点云的目标检测：YOLO3D、PointRCNN、VoxelNet                        

多目标跟踪

        基于Tracking-by-Detection：逐帧目标检测、历史轨迹与当前目标相似度模型建立、数据关联一一对应轨迹与目标、更新历史轨迹

                在线跟踪（Deepsort、MDP、COMT）：只关联前后两帧中的目标，在线输出关联结果，运行速度较快

                批处理跟踪（KSP、NT、TNT）：划定时间窗口，对窗口内关联结果求最优解。考虑更多时序信息，得到更可靠的轨迹、处理时长增加

        难点：检测噪声（错检、漏检）、目标遮挡（ID交换、关联轨迹断裂）、运动模糊（移速、相机抖动、图像采集模糊、外观特征不可靠、不利于目标关联）、光照变化、背景复杂                      

        衡量目标间相似度模型：运动模型（目标位置和速度）、外观模型（外观特征提取，解决运动模型可能遇到的遮挡问题）、交互模型（对待跟踪的群体）、尺度模型

        相似度模型融合方法：简单相乘相加、网络模型

        关联方法（匹配轨迹与目标）：匈牙利算法、动态规划算法、网络流算法

参考文献：

[1]徐传智. 驾驶场景下多目标跟踪与轨迹预测技术研究[D].上海交通大学,2020.DOI:10.27307/d.cnki.gsjtu.2020.001050.