TPAMI 2024 | 通过多尺度时空骨架匹配的一次性动作识别

One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching

题目：通过多尺度时空骨架匹配的一次性动作识别

作者：Siyuan Yang , Jun Liu , Shijian Lu , Er Meng Hwa, and Alex C. Kot

---

摘要

单样本骨架动作识别旨在通过单一训练样本学习骨架动作识别模型，由于收集和注释大规模骨架动作数据的挑战，这一领域受到了越来越多的关注。然而，大多数现有研究通过直接比较它们的向量特征来匹配骨架序列，这忽略了骨架数据的空间结构和时间顺序。本文提出了一种新颖的单样本骨架动作识别技术，通过多尺度空间-时间特征匹配来处理骨架动作识别。我们在多个空间和时间尺度上表示骨架数据，并从两个角度实现最佳特征匹配。第一是多尺度匹配，它同时捕获多个空间和时间尺度上骨架数据的尺度语义相关性。第二是跨尺度匹配，通过捕获多个尺度上的样本相关性来处理不同的运动幅度和速度。在三个大规模数据集（NTU RGB+D、NTU RGB+D 120和PKU-MMD）上的广泛实验表明，我们的方法在单样本骨架动作识别中取得了优越的性能，并始终以较大的差距超越了最先进的技术。

关键字

• 单样本学习
• 最优匹配
• 骨架动作识别

I. 引言

人类动作识别是一个快速发展的研究领域，由于其在人机交互、视频监控、游戏控