【论文笔记】2020行为识别综述A Survey on 3D Skeleton-Based Action Recognition Using Learning Method

A Survey on 3D Skeleton-Based Action Recognition Using Learning Method

论文地址
CVPR2020

基于深度学习方法的三维骨骼动作识别综述

这是第一个对使用3D骨架数据的基于深度学习的动作识别进行全面讨论的研究。

骨架序列三个显著的优势：

1. 空间信息：关节节点与其相邻节点之间存在强相关性，因此可以以帧内方式在骨骼数据中发现丰富的身体结构信息
2. 时间信息：帧间方式可以使用强时间相关性
3. 当考虑关节和骨骼时，空间和时间区域之间的贡献关系

使用深度学习方法从原始RGB序列或视频到最终动作类别的基于3D骨架的动作识别一般流程：

主要内容：

1. 介绍了3D骨架序列数据的优越性和三种深度学习模型特点的介绍，举例使用3D骨骼数据的基于深度学习方法的行为识别pipeline
2. 对每种深度模型，从数据驱动角度（数据驱动方式：讨论的核心都是这三种结构都是如何从3D骨架序列数据中构建、获取时空信息的）介绍了基于骨架数据的最新算法，例如时空建模、骨架数据表示、共现特征学习等方面，这些部分也是现存的待解决的经典问题
3. 首先讨论最新的具有挑战的数据集NTU-RGB+D 120及其附带的几种top-rank方法，然后讨论未来研究方向
4. 首个在基于3D骨架数据的行为识别研究中考虑了各种深度模型(RNN CNN GCN)的综述

II 3D Skeleton-Based Action Recognition with Deep Learning

1. RNN-based

   RNN通过将上一时刻的输出作为当前时刻的输入来形成其结构内部的递归连接，这被证明是一种处理序列数据的有效方法。

   • 时空建模算是行为识别任务的首要原则：

     • 双流RNN结构（H. Wang and W. Liang, “Modeling temporal dynamics and spatial configurations of actions using two-stream recurrent neural networks,” 2017.&#