原文链接:http://openaccess.thecvf.com/content_CVPR_2020/html/Wu_Temporal-Context_Enhanced_Detection_of_Heavily_Occluded_Pedestrians_CVPR_2020_paper.html
0 Abstract
现有工作集中在无遮挡行人检测和有遮挡静态行人检测,本文针对视频有遮挡的行人探测问题,利用视频中行人局部时空上下文提出了tube feature aggregation network (TFAN)。对于当前帧被遮挡的行人,沿时间轴寻找相关的对等物,形成一个tube,根据自适应权值聚合来增强被遮挡行人的特征表示。设计 temporally discriminative embedding module (TDEM) 和 a part-based relation module (PRM)以匹配自己的方法。
1 Algorithm
算法包含两个部分:
1.Tube linking:从当前帧中的行人proposal开始,在相邻帧中迭代搜索相关的对应项(不一定是同一个人),从而形成一个tube;
2.Feature aggregation:将tube中的proposal features聚合,根据它们和当前候选建议的语义相似性进行加权,增强当前框架中行人特征表示。使得分类器能够从背景中更可信的区分严重遮挡的行人。
2 想法
解决的问题:
-
被严重遮挡的行人难以从背景中分离
-
探测器很难知道如何聚焦于部分被遮挡的行人可见部分
主要思想:
利用时空上下文增强严重遮挡行人特征的可辨识性。沿时间轴寻找寻找低遮挡的行人,若存在,利用这些信息补偿信息严重缺失的当前帧。