本文讨论了在复杂的多人视频中估计和跟踪人体关键点的问题。我们提出了一种极其轻量且高效的方法,该方法建立在人类检测和视频理解的最新进展之上。我们的方法分为两个阶段:帧或短片段中的关键点估计,然后是轻量级跟踪,以生成链接整个视频的关键点预测。对于帧级姿态估计,我们尝试使用Mask R-CNN,以及我们自己提出的该模型的3D扩展,其利用小剪辑上的时间信息来生成更稳健的帧预测。我们对新发布的多人视频姿势估计基准PoseTrack进行了大量的实验,以验证我们模型的各种设计选择。
在ICCV 2017 PoseTrack挑战的关键点跟踪任务中排名第一!(ProTracker)
算法已开源:https://rohitgirdhar.github.io/DetectAndTrack/
访问www.52cv.net,获取更多开源CV技术信息。