论文阅读训练（2）

Detect-and-Track: Efficient Pose Estimation in Videos(2018.may.2)

作者：

code：https://rohitgirdhar.github.io/DetectAndTrack

摘要

这篇文章处理复杂、多人视频的人体关键点估计和跟踪的问题。提出一个轻便但高效的方法，建立在最新的人体检测和视频理解方法上。此方法有两个操作阶段：在帧或短片段中估计关键点，然后进行轻量跟踪，以生成在整个视频中链接的关键点预测。用mask rcnn对每帧pose估计，提出了mask rcnn的3D扩展，在短片段上利用时序信息产生更多的鲁棒帧预测。在新提出的多人视频估计benchmark——posetrack上做消除对比试验来验证模型的各种选择设计。方法使用多目标跟踪精确度量（the Multi-Object Tracking Accuracy (MOTA) metric,）在验证集上达到了55.2%精度，测试集上达到51.8%精度，在ICCV2017的PoseTrack关键点检测跟踪挑战中达到最好效果。

tracking部分：

tracking task可以看作detection上的data association

以前的方法：

（1）tracking task转化为二部匹配问题，可以用匈牙利算法（Hungarian algorim，是一种组合优化算法，用于求解指派问题）或贪心匹配方法（greedy method）实现。

（2）使用rnn，建立时序变化特征

（3）此篇文章中的tracking方法——用相似度策略，在一个graph中表示这些检测，每个检测到的Bounding box是一个节点。每条边定义为此帧每个box到下一帧每个box的链接，每条边的cost定义为该边两头的box属于同一个人的负似然性。

似然度量：

视觉相似度——cosine距离；位置相似度——IoU值；pose相似——PCKh距离，两帧上的pose间距离

 

BIT: Biologically Inspired Tracker（2019.23.Apr）

作者：Bolun Cai, Xiangmin Xu, Member, IEEE, Xiaofen Xing, Member, IEEE, Kui Jia, Member, IEEE, Jie Miao, and Dacheng Tao, Fellow, IEEE

摘要

视频跟踪由于各种因素引起的图像变化，所以有挑战，例如目标变形、尺度变化、光照变化、遮挡。考虑到人类视觉系统（HVS）优越的跟踪性能，期待一个理想的生物模型设计提高计算机视觉跟踪。这是一个困难的问题，因为完全不理解HVS的神经元的工作机制。本文旨在通过对视觉皮层腹侧流视觉认知机制的分析来解决这一挑战，即模拟浅层神经元（s1单元和c1单元）提取目标外观的低水平生物学期望特征，对于目标定位，模拟高级学习机制（s2单元和c2单元）结合生成和判别模型。除此之外，在框架中采用快速Gabor近似（FGA）和快速Fourier变换（FFT）实现实时学习和检测。对大型基准数据集进行的大量实验表明，所提出的生物激励跟踪器在效率、准确性和鲁棒性方面优于最先进的方法。特别是加速技术BIT保持大约每秒45帧的速度。