[论文阅读]DDGCN: A Dynamic Directed Graph Convolutional Network for Action Recognition

DDGCN: A Dynamic Directed Graph Convolutional Network for Action Recognition

作者 | Matthew Korban, Xin Li
单位 | 路易斯安那州立大学
论文地址 | https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123650749.pdf
会议 | ECCV 2020

摘要

提出了一种动态有向图卷积网络(DDGCN)，从人体行为的骨架表示出发，对人体行为的时空特征进行建模

DDGCN由三个新的特征建模模块组成：

1. 动态卷积采样(DCS)
2. 动态卷积权重(DCW)
3. 有向图时空(DGST)特征提取

DCS和DCW模块可以有效地捕捉动态的非相邻关节之间的时空相关性

DSTG特征提取模块，通过包含时空的有序信息来增强动作的特征

网络架构

动态卷积采样(DCS)

人体非相邻的子部分在人类行为中往往是相互关联的，且这种关联是动态的

DCS算法可以总结如下

1. 按照骨架模板初始化静态图$G_S$，并相应地初始化所有节点的索引

2. 初始化邻居采样：对于∀vi∈GS，分两步创建其初始有序近邻集合pi(B(Vi))

   • 创建包括图中所有其他节点的有序节点集合Oi，该有序节点集合Oi包括根据图到vi的图距离排序的图中的所有其他节点。 当两个节点Vj和Vr具有相同的图距离(例如，都离Vi有r跳距离)时，则根据它们的初始化索引对它们进行排序
   • 给定核大小r，从Oi中选取前r个节点，这些节点在此步骤pi(B(Vi))中形成有序的邻集

3. 更新采样邻域：∀vi，通过学习减少识别损失的最优偏移量∆pi来更新索引偏移量和邻域采样

最后，在$G_{ST}$上，通过如下公式(1)的图形卷积计算特征图$f_{ST}$
$$f_S$$