One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching
题目:通过多尺度时空骨架匹配的一次性动作识别
作者:Siyuan Yang , Jun Liu , Shijian Lu , Er Meng Hwa, and Alex C. Kot
摘要
单样本骨架动作识别旨在通过单一训练样本学习骨架动作识别模型,由于收集和注释大规模骨架动作数据的挑战,这一领域受到了越来越多的关注。然而,大多数现有研究通过直接比较它们的向量特征来匹配骨架序列,这忽略了骨架数据的空间结构和时间顺序。本文提出了一种新颖的单样本骨架动作识别技术,通过多尺度空间-时间特征匹配来处理骨架动作识别。我们在多个空间和时间尺度上表示骨架数据,并从两个角度实现最佳特征匹配。第一是多尺度匹配,它同时捕获多个空间和时间尺度上骨架数据的尺度语义相关性。第二是跨尺度匹配,通过捕获多个尺度上的样本相关性来处理不同的运动幅度和速度。在三个大规模数据集(NTU RGB+D、NTU RGB+D 120和PKU-MMD)上的广泛实验表明,我们的方法在单样本骨架动作识别中取得了优越的性能,并始终以较大的差距超越了最先进的技术。
关键字
- 单样本学习
- 最优匹配
- 骨架动作识别
I. 引言
人类动作识别是一个快速发展的研究领域,由于其在人机交互、视频监控、游戏控