基于骨架的人体动作识别:Elevating Skeleton-Based Action Recognition with Efficient Multi-Modality Self-Supervisi

论文作者：Yiping Wei,Kunyu Peng,Alina Roitberg,Jiaming Zhang,Junwei Zheng,Ruiping Liu,Yufan Chen,Kailun Yang,Rainer Stiefelhagen

作者单位：Karlsruhe Institute of Technology; University of Stuttgart; Hunan University

论文链接：http://arxiv.org/abs/2309.12009v1

项目链接：https://github.com/desehuileng0o0/IKEM

内容简介：

1）方向：基于骨架的人体动作识别

2）应用：人体动作识别

3）背景：近年来，自监督表示学习在人体动作识别方面取得了快速发展。现有的大部分工作都是基于骨骼数据，并使用多模态设置。然而，这些工作忽视了不同模态之间性能差异，导致了错误知识在模态之间的传播。此外，现有工作只使用了三种基本模态，即关节、骨骼和动作，没有探索其他额外的模态。

4）方法：本文首先提出 Implicit Knowledge Exchange Module （IKEM），用于减轻低性能模态之间错误知识的传播。然后，进一步提出了三种新的模态，以丰富模态之间的互补信息。最后，为了在引入新模态时保持效率，提出了一种新颖的师生框架，将次要模态中的知识蒸馏到强制模态中，考虑到锚点、正样本和负样本之间的关系约束，命名为关系跨模态知识蒸馏。

5）结果：实验结果证明了所提出方法的有效性，实现了基于骨骼的多模态数据的高效利用。源代码将在https://github.com/desehuileng0o0/IKEM上公开提供。