AAAI 2023 | HiCo: 一种简单有效的3D骨架动作表示学习框架

©Paperweekly 原创 · 作者 | 孙圣凯

单位 | 浙江工商大学

研究方向 | 自监督学习

本文介绍一篇 AAAI 2023 Oral 的工作。基于 3D 骨架的动作识别由于其轻量、鲁棒性好等特点，近年来受到了越来越多的研究关注，但如何利用无标签的数据学习 3D 骨架动作的特征表示以用于下游任务仍存在不少挑战。针对这一场景，本文作者提出了一种简单有效的基于层级对比的无监督 3D 骨架动作表示学习框架 HiCo。

相较于传统无监督对比学习方法将 3D 骨架动作表示为一个特征向量后进行对比，HiCo 结合 3D 骨架自身时空多粒度结构特点将其表示为片段级、部件级、域级和实例级特征并在这些层次上进行层级对比，充分利用不同表示间的互补信息，在动作识别、动作检索等多个下游任务上达到了目前最好的性能，特别是在具有挑战性的 PKU-MMD II 数据集上动作识别任务准确度相比于现有方法提升了 16 点。

论文标题：

Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning

收录会议：

AAAI 2023 (Oral Paper)

论文链接：

https://arxiv.org/abs/2212.02082

代码链接：

https://github.com/HuiGuanLab/HiCo

引言

动作识别在人机交互、智能监控、视频内容分析、游戏控制等领域有着广泛的应用。近年来，基于 3D 骨架的动作识别取得了显著进展，然而大多数工作以完全监督的方式训练网络，这需要大量人工标注的骨架数据，花费昂贵且耗时。因此无监督的 3D 骨架动作表示学习方法也逐步受到了研究人员的关注。

早期的相关无监督工作主要聚焦于生成式方法，将 3D 骨架动作编码后在不同的代理任务（像是骨架重构和骨架着色）指导下解码，以达到学习特征表示的目标。但是这类方法效果有限，性能更好、机制更简单的对比学习方法成为了近年来的主流。这些基于对比学习的方法通常将 3D 骨架动作表示为实例级 (instance-level) 特征，然后进行实例间的整体对比。

考虑到 3D 骨架动作具有层次结构的自然特征，这种表示对比方法可能是次优的。3D 骨架动作作为序列，时间维度上可以看作帧 (frame) 的集合，空间维度上可以看作节点 (joint) 的集合。同时帧或节点是基本元素，可以构建为更大粒度的元素，如片段 (clip) 或部件 (part)。 

受此启发，作者提出用于无监督 3D 骨架动作表示学习的层级对比框架 HiCo。HiCo 通过层级编码器网络将 3D 骨架动作序列编码为部件级 (p