[论文阅读]Spatial Temporal Graph Convolutional Networks for Skeleton-Based ActionRecognition

目录

一.概括

二.传统GCN与本文ST-GCN之间的区别

         三.实现ST-GCN的细节

---

一.概括

传统的a骨骼建模方法通常依靠手工制作部分或遍历规则，从而导致表达能力有限和泛化困难.过往方法能力的限制在于不能精确的提取关节之间的空间关系，而这些空间关系对于理解人类活动是重要的。

本文旨在开发一种有原则的、有效的动态骨骼建模方法，并将其用于动作识别。提出了一种新的 ST-GCN，即时空图卷积网络模型，用于解决基于人体骨架关键点的人类动作识别问题。通过自动从数据中自动学习空间和时间模式，超越了以往方法的局限性。

1.空间上：将骨架之间的关键点作为空间关系的输入（存在着不同点之间邻域大小不定的困难，考虑到用基于Graph的CNN网络模型）；

2.时间上：使用视频数据，利用图片之间的时序关系。

如何构成时空图：

1. 在每一帧内部，按照人体的自然骨架连接关系构造空间图；

2. 在相邻两帧的相同关键点连接起来，构成时序边；

3. 所有输入帧中关键点构成节点集（node set），步骤 1、2 中的所有边构成边集（edge set），即构成所需的时空图。