目标追踪应用

高空抛物检测

原理	可行性	局限	参考
高斯混合模型+SORT多目标追踪算法，滤除非向下趋势的正常活动和噪音轨迹状态	有非常好的实现，值得尝试该种方案	sort局限：遮挡物体容易导致ID Switch次数很高	https://www.bilibili.com/video/BV1Hf4y1272T?from=search&seid=15686868963337846278
KNN建模	与第一种类似，区别在于背景建模使用KNN	同上	https://www.cxyzjd.com/article/qq_32214321/107912440
帧差法	不适用	树叶误检、设备摇晃误检、光线变化适应能力差
光流法	不适用	类似帧差法问题，另外还有对于目标划分问题
DeepSORT	能比较好的解决遮挡追踪问题	需依赖特征检测，对小目标追踪不友好	参考1：http://www.qishunwang.net/news_show_74290.aspx 参考2：https://blog.csdn.net/sgfmby1994/article/details/98517210
Towards-Realtime-MOT	重点关注： 比DeepSORT精度高，速度快3-4倍		论文地址：https://arxiv.org/pdf/1909.12605v1.pdf 开源代码：https://github.com/Zhongdao/Towards-Realtime-MOT
FairMOT	重点关注：最新的实现，可实现30FPS，检测精度目前最高		论文：http://arxiv.org/abs/2004.01888 代码：https://github.com/ifzhang/FairMOT

遗留问题：背景检测可以剔除有规律的动态目标，还是会有一些误检存在，需要上轨迹跟踪来解决

问题	方案
误检抛物	目标移动距离大小
误检抛物	轨迹向下
目标块无对应	跟踪算法

跟踪算法选型SORT解析

前言： 目前很多的高空抛物使用这个方案+高斯建模取得不错的效果，值得了解该算法的原理；
背景： 传统跟踪算法根据HUG1特征或者特征点来进行跟踪。高空抛物目标小，移动速度快，传统方法有局限；

方案： 依据坐标来追踪多个目标；SORT是 SIMPLE ONLINE AND REALTIME TRACKING 的简写；核心为匈牙利算法+卡尔曼滤波；SORT1算法没有用到特征追踪，其本质上是根据观测的位置预测出下一帧出现的位置；高空抛物有很强的的规律性，重的物体遵循自然落体规律，较轻的物体如塑料袋或纸板等不具有很强的规律，但是相对的其速度就很慢，在每一帧之间都有IOU重叠，因此也不会出现漏检；因此该算法可用于高空抛物场景。

传统建模算法调研

名称	优势	缺点	可行性
高斯混合	效果算是比较好的	计算量大，速度偏慢，对光照敏感	暂定
Codebook算法	效果还可以	对光照敏感	暂定
SOBS	对光照鲁棒	MAP模型输入图片大，计算量大	可以尝试
SACON	效果还可以	暂无
vibe	计算速度超级快，计算量比较小，对噪声鲁棒，检测效果也不错		base
COLOR	对光照鲁棒，效果也好，速度快，基本上满足实时性要求		优先尝试

深度建模算法调研

名称	论文	优势	年份
A New Deep Network Architecture For Optical Flow WITH CODE	The paper: https://arxiv.org/pdf/2003.12039.pdf GitHub with code: https://github.com/princeton-vl/RAFT		2020
FlowNet2.0	https://lmb.informatik.uni-freiburg.de/Publications/2017/IMKDB17/paper-FlowNet_2_0__CVPR.pdf https://github.com/NVIDIA/flownet2-pytorch	已追平当前最好的传统背景分割方法，速度更快	2016

监控视频异常检测

算法	论文	场景	实用性
Learning Normal Dynamics in Videos with Meta Prototype Network	https://arxiv.org/pdf/2104.06689.pdf	异常场景重建误差大识别异常	看中它的数据组成为大量的正常样本+少量的异常样本，可以对极少发生时间做一个比较好的处理；实际分析异常的边界很难定义，对于高空抛物这种处于连续降落的目标是否属于异常也很难判定；当前测试了一段高空抛物视频，最终评价指标为单帧图像AUC，实际上很难区分抛物区间；暂不考虑

实例分割方法

算法	论文	实用性	性质
SwiftNet	https://arxiv.org/pdf/2102.04604.pdf	速度很快，RESNET50能达到25fps;resnet18能达到80fps	半监督
RMNet	https://arxiv.org/pdf/2103.12934.pdf	区分相似度高的目标；高空抛物不需要区分很清晰，暂不考虑	半监督
LCM	https://arxiv.org/pdf/2104.04329.pdf	效果最好，无论文复现代码	半监督
RTNet	https://openaccess.thecvf.com/content/CVPR2021/papers/Ren_Reciprocal_Transformations_for_Unsupervised_Video_Object_Segmentation_CVPR_2021_paper.pdf	通过帧内对比度、运动线索和重复出现目标的时间一致性三个相互影响的关键因素来发现主要目标；主要目标与一起移动的背景目标区分；无监督泛化能力更好值得尝试	无监督
STMask	https://arxiv.org/pdf/2104.05606.pdf	视频实例分割上实现了 28.6/23.4 FPS，保持了准确性和速度之间的权衡；目前高空抛物数据不足以将分割精度提升至可用，待观察	无监督
SGNet	https://arxiv.org/pdf/2103.10284.pdf	单阶段分割，大大提升了掩码质量和速度	待观察

多目标跟踪

算法	论文	实用性
GMOT-40	https://openaccess.thecvf.com/content/CVPR2021/papers/Bai_GMOT-40_A_Benchmark_for_Generic_Multiple_Object_Tracking_CVPR_2021_paper.pdf	通用的多目标跟踪器，值得尝试

效果

1. 智眸科技：https://zhuanlan.zhihu.com/p/398944211；看起来还是做得不错的。