论文笔记：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition

原论文：Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition（暂未开源）

Dynamic GCN：基于骨架的动作识别的上下文丰富的拓扑学习

图卷积网络（GCN）对基于骨架的动作识别任务越来越感兴趣。关键在于图形结构的设计，该结构对骨架拓扑信息进行编码。在本文中，提出了Dynamic GCN，其中引入了一种新的卷积神经网络，称为上下文编码网络（CeN），以自动学习骨架拓扑。特别是，在学习两个关节之间的依存关系时，其余关节的上下文特征将以全局方式合并。 CeN非常轻巧但有效，可以嵌入到图形卷积层中。通过堆叠多个启用CeN的图卷积层，构建了Dynamic GCN。值得注意的是，作为CeN的一项优点，可为不同的输入样本以及不同深度的图形卷积层构建动态图形拓扑。此外，对三种可选的上下文建模架构进行了很好的探索，它们可以作为未来图拓扑学习研究的指南。 CeN仅为基线模型带来约7％的额外FLOP，而Dynamic GCN的性能比现有方法少2倍〜4倍，从而获得了更好的性能。通过进一步结合静态身体连接和运动方式，我们在三个大型基准（NTU-RGB + D，NTU-RGB + D 120和Skeleton-Kinetics）上实现了最先进的性能。

创新点：

• 提出了动态GCN框架，它充分利用了GCN拓扑学习和CNN特征学习能力的互补优势。
• 介绍了一种轻量级的上下文编码网络，它可以全局地学习上下文丰富的动态骨架拓扑。
• 研究了三种可选的上下文建模体系结构，为以后的图拓扑学习研究提供了指导。
• 最终模型在基于骨架的动作识别的三个大规模基准上达到了最先进的性能。

 

全文的整体网络结构：

 

 

上下文编码网络（CeN）：

图3:提议的CeN的架构。它只包含三个1x1卷积层。首先采用Conv-C和Conv-T压缩特征和时间维数。然后将关节维数作为通道来获取全局拓扑。特征地图排列(粉红色的块)是按需应用。在每个卷积层后应用批处理归一化和ReLU激活函数。

上图是作者提出的其中一种CeN的网络架构。

图4:动态GConv层的管道。将静态图(静态分支)和CeN(动态分支)预测的图的拓扑特征融合在一起。然后，附加一个TC-block块。

 

图5:CeN的两个变种。(a) 是沿着特征维度聚合全局上下文。(b) 是沿着时间维度聚合全局上下文。

实验：

在NTU-RGBD和kinetics上均有不错的表现

同时在消融实验中对比了算法的复杂度。该网络的复杂度比之前的ST-GCN，MS-AAGCN都要小，效果明显。

 

 

可视化：