Dynamic GCN：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition

Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition

动态GCN：基于骨架的动作识别的上下文丰富拓扑学习

ACM2020

未开源

---

关键：图结构的设计，该结构编码骨架拓扑信息

提出动态GCN(Dynamic GCN)，引入一个新的CNN命名为context-encoding network(CeN)来自动学习骨架拓扑图。特别地，当学习两个关节之间的依赖性时，剩余关节的上下文特征以全局的方式整合。CeN是极轻量级但是有效，还可以被嵌入图卷积层。通过堆叠多个CeN的图卷积层，构建dynamic GCN。作为CeN的优点，为不同输入样本构建dynamic图拓扑以及不同深度的图卷积层。探索了三中可替代的上下文建模架构，可以作为对图形拓扑学习的未来研究的指导。

未来改进的三个问题：

1. non-local-based方法，测量两个骨架关节之间的依赖性同时忽略其他上下文关节的影响，基本上可以算作是一种local method。除了底层两个关节之外，其他关节的上下文信息对于学习可靠和稳定的拓扑都至关重要。
2. 使用像内积一样的任意功能来计算两个关节之间的依赖性，引入强的先验知识，这可能不是最佳的。
3. 在骨架动态系统中，non-local-based方法考虑到每对关节的依赖性无向。因为每个关节的上下文信息都不一样，依赖性应该有向。对于不同查询对，他们由非本地基础方法产生的相似性可能几乎相同。

提出一个名为dynamic GCN的混合GCN-CNN框架，目的是通过利用CNN的特征学习能力来攻击现有的基于学习的骨架拓扑的弱点。引入一个新的CNN context-encoding network(CeN)来自动学习骨架拓扑图。可以被嵌入一个图卷积层端到端学习。与non-local-based方法比，CeN有以下优点：1）CeN从全局角度完全考虑每个关节的上下文信息。2）CeN完全是数据驱动，不要求有任何的先验知识，更加灵活。3）根据有向图和产生有向图（非对称邻接矩阵）的指向每对关节的依赖性，可以更准确的表示骨架系统的动态。4）和其他拓扑学习算法相比，CeN非常轻量级但是十分有效，可以轻松集成到基于GCN的方法中。

CeN预测每个样本的唯一图拓扑以及per-GConv层。此功能导致动态图拓扑而不是静态拓扑，提高了模型的容量和表现力。

对于CeN中的上下文模型，探索了各种特征聚合体系结构。拓扑学习背景下，周围关节的上下文信息也是十分重要。因此，CeN中特征通过将其视为通道，通过联合维度全局聚集。消融研究表明，在另外两个替代方案中，它是优越的，其中时间或特征尺寸被视为通道。提供了进一步的讨论，这可能引导未来的图形拓扑学习研究。

1. dynamic GCN，利用GCN拓扑学习的互补性益处和CNN特征学习能力。
2. 引入轻量级context-encoding network，全局学习丰富的上下文动态骨骼拓扑。
3. 探索了三种可替代的上下文建模架构，可以作为未来图形拓扑学习研究的指导。

DNN-based methods：

RNN是序列数据的直接模型。RNN顺序聚合时间信息，但CNN能够共同编码时空信息。CNN旨在将图像直接分类为动作类别。虽然CEN也是CNN模型，但它旨在学习
图形拓扑而不是最终动作识别。

GCN-based methods：

GCN能够有效地处理不规则的结构化图，如骨架数据。给定具有n个关节的骨架数据，图形拓扑结构可以通过n×n邻接矩阵A很好地表示。基于GCN的方法的关键在于图形拓扑设计，即A，最直接的方式是定义固定的图根据人体的物理连接。为了略微关注边缘，还创建了一种可学习的掩模，该掩模乘以或添加物理邻接矩阵。后来，[28]采用虚拟连接的概念作为物理邻接矩阵的补充。

在上述方法中，邻接矩阵在训练完成后预定义或固定。为了使图形拓扑更灵活，试图为不同的样本构成不同的图形。具体地，采用非本地的操作来推断两个任意关节之间的连接性。在测量两个关节之间的依赖性时，仅考虑底层两个关节的特征，而忽略上下文关节的影响。相反，在动态GCN中，所有上下文关节的特征都与所提出的CEN充分结合，以这种方式学习的图表可能更加强大和富有表现力。

method：

GCN通常包含一个图卷积块graph convolutional blocks (GC-blocks)和一个时间卷积块temporal convolutional blocks (TC-blocks)，分别N关节T时间维度。GC-block：$\mathrm{Y}={\sum }_{k=1}^K{\Lambda }_k^{-\frac{1}{2}}$