Multi scale temporal graph networks for skeleton-based action recognition
基于骨架的动作识别的多尺度时间图网络
Computer Science & Information Technology (CS & IT)2020
图卷积网络(GCN)可以有效地捕获相关节点的特征并提高模型的性能。现有的基于GCN的方法存在两个问题:
- 时间和空间特征的一致性被忽略,以逐节点和逐帧提取特征。
文章设计了用于动作识别的骨架序列的通用表示,并提出Temporal Graph Networks(TGN)以获取时空特征。 - 描述关节关系的图的邻接矩阵主要取决于关节之间的物理连接。
为了适当地描述骨架图中关节之间的关系,文章提出了一种多尺度图策略,采用全尺度图、局部尺度图和核心尺度图来捕获每个关节的局部特征和重要的轮廓特征。 - Multi-scale Temporal Graph Network (MS-TGN)
GCN提取空间特征,将输出输入到TCN:
node N = { x v , t ∣ v = 1 , 2 , . . . , V , t = 1 , 2 , . . . , T } C N=\{x_{v,t}|v=1,2,...,V,t=1,2,...,T\}_C N={ xv,t∣v=1,2,...,V,t=1,</